Convergence of an alternating maximization procedure

Andresen A.; V. Spokoiny

?

Convergence of an alternating maximization procedure

Journal of Machine Learning Research. 2016. No. 17(63). P. 1–53.

We derive two convergence results for a sequential alternating maximization procedure to approximate the maximizer of random functionals such as the realized log likelihood in MLE estimation. We manage to show that the sequence attains the same deviation properties as shown for the profile M-estimator by Andresen and Spokoiny (2013), that means a finite sample Wilks and Fisher theorem. Further under slightly stronger smoothness constraints on the random functional we can show nearly linear convergence to the global maximizer if the starting point for the procedure is well chosen. ©2016 Andreas Andresen, and Vladimir Spokoiny.

Язык: английский

Текст на другом сайте

Ключевые слова: EM-algorithm Alternating maximization Alternating minimization Local concentration Local linear approximation M-estimation Profile maximum likelihood Semi-parametric

Analysis of the alternating minimization method for low-rank canonical polyadic decomposition in the Chebyshev norm

Stanislav Morozov, Calcolo 2026 Vol. 63 No. 2 Article 23

Добавлено: 22 мая 2026 г.

Refining uniform approximation algorithm for low-rank Chebyshev embeddings

Stanislav Morozov, Zheltkov D., Osinsky A., Russian Journal on Numerical Analysis and Mathematical Modelling 2024 Vol. 39 No. 5 P. 311–328

Добавлено: 18 февраля 2026 г.

On the optimal rank-1 approximation of matrices in the Chebyshev norm

Stanislav Morozov, Smirnov M., Zamarashkin N., Linear Algebra and its Applications 2023 Vol. 679 P. 4–29

The problem of low rank approximation is ubiquitous in science. Traditionally this problem is solved in unitary invariant norms such as Frobenius or spectral norm due to existence of eﬃcient methods for building approximations. However, recent results reveal the potential of low rank approximations in Chebyshev norm, which naturally arises in many applications. In this paper ...

Добавлено: 10 апреля 2025 г.

On a Combination of Alternating Minimization and Nesterov’s Momentum

Guminov S., Двуреченский П. Е., Тупица Н. К. и др., , in: Proceedings of the 38th International Conference on Machine Learning (ICML 2021)Vol. 139.: PMLR, 2021. P. 3886–3898.

Добавлено: 30 октября 2022 г.

Adaptive Catalyst for Smooth Convex Optimization

Иванова А. С., Pasechnyuk D., Grishchenko D. и др., , in: Optimization and Applications: 12th International Conference, OPTIMA 2021, Petrovac, Montenegro, September 27 – October 1, 2021, Proceedings.: Switzerland: Springer, 2021. Ch. 268319 P. 20–37.

Добавлено: 30 октября 2022 г.

Alternating minimization methods for strongly convex optimization

Тупица Н. К., Двуреченский П. Е., Гасников А. В. и др., Journal of Inverse and Ill-posed problems 2021 Vol. 29 No. 5 P. 721–739

Добавлено: 29 сентября 2021 г.

Multimarginal Optimal Transport by Accelerated Alternating Minimization

Tupitsa, N., Двуреченский П. Е., Гасников А. В. и др., , in: 2020 IEEE 59th Conference on Decision and Control (CDC).: IEEE, 2020. P. 6132–6137.

Добавлено: 5 февраля 2021 г.

Strongly Convex Optimization for the Dual Formulation of Optimal Transport

Tupitsa N., Гасников А. В., Двуреченский П. Е. и др., , in: Mathematical Optimization Theory and Operations Research. MOTOR 2020. Communications in Computer and Information ScienceVol. 1275.: Springer, 2020. P. 192–204.

Добавлено: 28 октября 2020 г.

Additive Regularization of Topic Models

Воронцов К. В., Потапенко А. А., Machine Learning 2015 Vol. 101 No. 1 P. 303–323

Probabilistic topic modeling of text collections has been recently developed mainly within the framework of graphical models and Bayesian inference. In this paper we introduce an alternative semi-probabilistic approach, which we call additive regularization of topic models (ARTM). Instead of building a purely probabilistic generative model of text we regularize an ill-posed problem of stochastic matrix factorization ...

Добавлено: 19 февраля 2015 г.

Модификации EM-алгоритма для вероятностного тематического моделирования

Воронцов К. В., Потапенко А. А., Машинное обучение и анализ данных 2013 Т. 1 № 6 С. 657–686

Вероятностная тематическая модель (ВТМ) строит интерпретируемое представление коллекции текстовых документов, описывая каждый документ дискретным распределением на множестве тем, каждую тему - дискретным распределением на множестве терминов. Рассматривается обобщённый EM-алгоритм с эвристиками сглаживания, сэмплирования, робастности и разреживания, позволяющий при различных сочетаниях этих эвристик получать как известные тематические модели PLSA, LDA, SWB, так и новые. ...

Добавлено: 19 февраля 2015 г.

Регуляризация, робастность и разреженность вероятностных тематических моделей

Воронцов К. В., Потапенко А. А., Компьютерные исследования и моделирование 2012 Т. 4 № 4 С. 693–706

Предлагается обобщённое семейство вероятностных тематических моделей коллекций тек- стовых документов, в котором эвристики регуляризации, сэмплирования, частого обновления параметров, робастности относительно шума и фона могут включаться независимо друг от дру- га в любых сочетаниях, порождая как известные модели PLSA, LDA, CVB0, SWB, так и новые. Показано, что робастная тематическая модель на основе PLSA, разделяющая термины на ...

Добавлено: 19 февраля 2015 г.

Multilevel classifiers based on a tree-structured set of Gaussian densities

N.A. Novikov, Pattern Recognition and Image Analysis 2014 Vol. 24 No. 3 P. 443–451

Добавлено: 16 января 2015 г.

Tutorial on Probabilistic Topic Modeling: Additive Regularization for Stochastic Matrix Factorization

Konstantin Vorontsov, Anna Potapenko, , in: Communications in Computer and Information ScienceVol. 436: Analysis of Images, Social Networks and Texts. Third International Conference, AIST 2014 Yekaterinburg, Russia, April 10–12, 2014 Revised Selected Papers.: Cham: Springer, 2014. P. 29–46.

Добавлено: 5 декабря 2014 г.

Application of Kalman Filter with alpha-stable distibution

Мозгунов П. А., , in: COMPSTAT 2014. 21st International Conference on Computational Statistics hosting the 5th IASC World Conference. Geneva, Switzerland, August 19–22, 2014. Book of Abstracts.: Geneva: [б.и.], 2014. P. 419–427.

In this paper we consider the behavior of Kalman Filter state estimates in the case of distribution with heavy tails .The simulated linear state space models with Gaussian measurement noises were used. Gaussian noises in state equation are replaced by components with alpha-stable distribution with different parameters alpha and beta. We consider the case when ...

Добавлено: 14 ноября 2014 г.

Модификации EM-алгоритма для вероятностного тематического моделирования

К.В. Воронцов, Потапенко А. А., Машинное обучение и анализ данных 2013 Т. 1 № 6 С. 657–686

Вероятностная тематическая модель (BTM) строит интерпретируемое представление коллекции текстовых документов, описывая каждый жокумент дискретным распределением на множестве тем, каждую тему - дискретным распределением на множестве терминов. Рассмотрен обобщенный EM-алгоритм с эвристиками сглаживания, сэмплирования, робастности и разрежевания, позволяющий при различных сочетаниях этих эвристик получать как известные тематические модели PLSA (probabilistic latent semantic analysis), LDA (latent Dirichlet ...

Добавлено: 6 мая 2014 г.