Регуляризация, робастность и разреженность вероятностных тематических моделей

Компьютерные исследования и моделирование. 2012. Т. 4. № 4. С. 693–706.

Воронцов К. В., Потапенко А. А.

Предлагается обобщённое семейство вероятностных тематических моделей коллекций тек- стовых документов, в котором эвристики регуляризации, сэмплирования, частого обновления параметров, робастности относительно шума и фона могут включаться независимо друг от дру- га в любых сочетаниях, порождая как известные модели PLSA, LDA, CVB0, SWB, так и новые. Показано, что робастная тематическая модель на основе PLSA, разделяющая термины на тема- тические, шумовые и фоновые, не нуждается в регуляризации и обеспечивает разреженность искомых дискретных распределений тем в документах и терминов в темах.

Ключевые слова: робастность, EM-алгоритм, LDA, robustness, EM-algorithm, латентное размещение Дирихле, вероятностный латентный семантический анализ, PLSA, вероятностное тематическое моделирование, probabilistic topic modeling