Модификации EM-алгоритма для вероятностного тематического моделирования

Машинное обучение и анализ данных. 2013. Т. 1. № 6. С. 657–686.

Воронцов К. В., Потапенко А. А.

Вероятностная тематическая модель (ВТМ) строит интерпретируемое представление коллекции текстовых документов,     описывая каждый документ дискретным распределением на множестве тем, каждую тему - дискретным распределением на множестве терминов. Рассматривается обобщённый EM-алгоритм с эвристиками сглаживания, сэмплирования, робастности и разреживания, позволяющий при различных сочетаниях этих эвристик получать как известные тематические модели PLSA, LDA, SWB, так и новые. Предлагается упрощённый робастный алгоритм, который не требует ни дополнительных вычислительных затрат, ни хранения матрицы параметров шума, и хорошо сочетается с эвристикой разреживания. В экспериментах на двух коллекциях научных публикаций, англоязычной и русскоязычной, подбираются оптимальные сочетания стратегий разреживания и других эвристик. Показывается, что робастная модель без сглаживания позволяет разреживать искомые распределения на 99\% без ухудшения качества (перплексии) модели.

Ключевые слова: EM-алгоритм, LDA, EM-algorithm, латентное размещение Дирихле, bayesian inference, байесовский вывод, вероятностный латентный семантический анализ, PLSA, вероятностное тематическое моделирование, probabilistic topic modeling