Метод учёта структуры биграмм в тематических моделях

М. А. Нокель

?

Метод учёта структуры биграмм в тематических моделях

Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии. 2014. № 4. С. 89–97.

Нокель М. А.

В статье представлены результаты экспериментов по добавлению сходства между униграммами и биграммами в тематические модели. Вначале изучается возможность применения ассоциативных мер для выбора и последующего включения биграмм в тематические модели. Затем предлагается модификация оригинального алгоритма PLSA, учитывающая похожие униграммы и биграммы, начинающиеся с одних и тех же букв. И в конце статьи предлагается новый итеративный алгоритм без учителя, показывающий, как темы сами могут выбирать себе наиболее подходящие биграммы. В качестве текстовой коллекции была взята подборка статей из электронных банковских журналов на русском языке. Эксперименты показывают значительное улучшение качества тематических моделей по всем целевым метрикам.

Приоритетные направления: компьютерно-математическое

Язык: русский

Текст на другом сайте

Ключевые слова: perplexity Topic Models тематические модели PLSA PLSA bigrams topic coherence биграммы согласованность тем перплексия

Natural hazard database from Internet publications: text mining with a large language model

Деркачева А. А., Сакиркина М. А., Краев Г. Н. и др., /. 2026.

Добавлено: 28 апреля 2026 г.

Ising models on the hydrogen peroxide and other lattices

Qin X., Deng Y., Щур Л. Н. и др., / Series arXiv "math". 2026. No. 2603.02962.

Добавлено: 20 апреля 2026 г.

Algorithmic overlaps as thermodynamic variables: from local to cluster Monte Carlo dynamics in critical phenomena

Пиле Я. Э., Deng Y., Щур Л. Н., / Series arXiv "math". 2026. No. 2604.10254.

Добавлено: 20 апреля 2026 г.

Using predefined vector systems to speed up neural network multimillion class classification

Gabdullin N., Андросов И. А., / Series Computer Science "arxiv.org". 2026.

Добавлено: 2 апреля 2026 г.

Iterative Ricci-Foster Curvature Flow with GMM-Based Edge Pruning: A Novel Approach to Community Detection

Сорокин К. С., Бекетов М. Е., Онучин А. и др., / arxiv.org. Серия cs.SI "Social and Information Networks ". 2025.

Обнаружение сообществ в сложных сетях — фундаментальная проблема, открытая для новых подходов в различных научных областях. Мы представляем новый метод обнаружения сообществ, основанный на потоке Риччи на графах. Наша техника итеративно обновляет веса ребер (их метрические длины) в соответствии с их (комбинаторной) версией кривизны Риччи Фостера, вычисленной на основе эффективного расстояния сопротивления между узлами. Известно, ...

Добавлено: 15 января 2026 г.

Implementing Transport Coding in OMNeT++ for Message Delay Reduction

Петрованов И. С., Сергеев А. В., / Series Computer Science "arxiv.org". 2025. No. 2512.18332.

Добавлено: 24 декабря 2025 г.

Hessian-based lightweight neural network for brain vessel segmentation on a minimal training dataset

Меньшиков И. А., Бернадотт А. К., Елфимов Н. С., / Series arXie "Statistical mechanics". 2025.

Добавлено: 1 декабря 2025 г.

Determining the boundary of dynamical chaos in the generalized Chirikov map via machine learning

Чернышов Д. П., Сатанин А. М., Щур Л. Н., / Series arXiv "math". 2025.

Добавлено: 21 ноября 2025 г.

Эффективный алгоритм торговли на фондовом рынке: ретроспективный анализ, основанный на данных по S&P-500.

Рубчинский А. А., Чубарова Д. А., / Series WP7 "Математические методы анализа решений в экономике, бизнесе и политике". 2025. No. WP7/2025/01.

Добавлено: 9 ноября 2025 г.

Diffusion on language model embeddings for protein sequence generation

Мещанинов В. П., Strashnov, P., Shevtsov A. и др., / Cornell University. Серия CoRR, arXiv:2403.03726 "Computing Research Repository,". 2025.

Дизайн белков требует глубокого понимания присущей сложности «белкового вселенной». Хотя многие работы ориентируются на условную генерацию или сосредоточены на отдельных семействах белков, базовая задача безусловной генерации остаётся недостаточно изученной и недооценённой. В этой работе мы исследуем именно этот ключевой аспект и представляем DiMA — модель, которая использует непрерывную диффузию по эмбеддингам, полученным из языковой модели для белков ESM-2, ...

Добавлено: 5 октября 2025 г.

Smoothie: Smoothing Diffusion on Token Embeddings for Text Generation

Шабалин А. М., Мещанинов В. П., Vetrov D., / Series cs.CL, arXiv:2505.18853 "Computation and Language". 2025.

Диффузионные модели достигли передовых результатов в генерации изображений, аудио и видео, однако их адаптация к тексту остаётся сложной из-за его дискретной природы. Ранее подходы либо применяют гауссовскую диффузию в непрерывных латентных пространствах, что наследует семантическую структуру, но затрудняет декодирование токенов, либо работают в пространстве категориального симплекса, что учитывает дискретность, но игнорирует семантические связи между токенами. ...

Добавлено: 5 октября 2025 г.

A Feature Engineering Framework for Computer Vision Based on Topological Data Analysis

Абрамов А. С., Чернышев В. Л., Михайлец Е. В. и др., / Series Social Science Research Network "Social Science Research Network". 2025.

Добавлено: 23 сентября 2025 г.

On the construction of frieze patterns from partitions of convex polygons by nonintersecting diagonals

Кочетков Ю. Ю., / Series arXiv.org e-print archive "arXiv.math". 2025. No. 07600.

Добавлено: 17 сентября 2025 г.

On one property of Catalan numbers

Кочетков Ю. Ю., / Series arXiv.org e-print archive "arXiv.math". 2025. No. 20584.

Добавлено: 9 сентября 2025 г.

Data-Driven Approach To Patient Flow Management And Resource Utilization In Urban Medical Facilities

Elizaveta S. Prokofyeva, Svetlana V. Maltseva, Fomichev N. и др., , in: 2020 IEEE 22nd Conference on Business Informatics (CBI).: IEEE, 2020. P. 71–77.

Добавлено: 31 августа 2020 г.

A Method of Accounting Bigrams in Topic Models

Нокель М. А., Лукашевич Н. В., , in: NAACL HLT 2015 11th Workshop on Multiword Expressions MWE 2014.: NY: Association for Computational Linguistics, 2015. P. 1–9.

Добавлено: 16 марта 2016 г.

Topic Models: Accounting Component Structure of Bigrams

Нокель М. А., Лукашевич Н. В., , in: Proceedings of the 20th Nordic Conference of Computational Linguistics (NODALIDA 2015).: Linköping: Linköping University Electronic Press, 2015. P. 145–152.

Добавлено: 16 марта 2016 г.

Тематические модели: добавление биграмм и учет сходства между униграммами и биграммами

Нокель М. А., Лукашевич Н. В., Вычислительные методы и программирование 2015 Т. 16 № 2 С. 215–234

Представлены результаты экспериментов по добавлению биграмм в тематические модели и учету сходства между ними и униграммами. Предложен новый алгоритм PLSA-SIM, являю- щийся модификацией алгоритма построения тематических моделей PLSA (Probabilistic Latent Semantic Analysis). Предложенный алгоритм позволяет добавлять биграммы и учитывать сход- ство между ними и униграммными компонентами. Исследована возможность применения ас- социативных мер для выбора и ...

Добавлено: 15 марта 2016 г.

Topic Models Regularization and Initialization for Regression Problems

Соколов Е. А., Bogolubsky L., , in: Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications.: NY: ACM, 2015. P. 21–27.

Добавлено: 24 февраля 2016 г.

Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications

NY: ACM, 2015.

Добавлено: 24 февраля 2016 г.