Orthogonal Directions Constrained Gradient Method: from non-linear equality constraints to Stiefel manifold

Schechtman S.; D. Tiapkin; Muehlebach M.; E. Moulines

Публикации

?

Orthogonal Directions Constrained Gradient Method: from non-linear equality constraints to Stiefel manifold

P. 1228–1258.

Schechtman S., Тяпкин Д. Н., Muehlebach M., Мулине Э. Ф.

Язык: английский

Полный текст

Текст на другом сайте

Ключевые слова: constrained optimization stochastic optimization non-convex optimization

ПУБЛИКАЦИЯ ПОДГОТОВЛЕНА ПО РЕЗУЛЬТАТАМ ПРОЕКТА:

Структурное обучение и его приложения (2023)

В книге

Proceedings of Machine Learning Research: Volume 195: The Thirty Sixth Annual Conference on Learning Theory, 12-15 July 2023, Bangalore, India

Vol. 195: The Thirty Sixth Annual Conference on Learning Theory, 12-15 July 2023, Bangalore, India. , PMLR, 2023.

Gradient-free methods for non-smooth convex stochastic optimization with heavy-tailed noise on convex compact

Kornilov N., Гасников А. В., Двуреченский П. Е. и др., Computational Management Science 2023 Article 37

Добавлено: 7 февраля 2025 г.

Регуляризация и ускорение метода Гаусса–Ньютона

Юдин Н. Е., Гасников А. В., Компьютерные исследования и моделирование 2024 Т. 16 № 7 С. 1829–1840

Предлагается семейство методов Гаусса–Ньютона для решения оптимизационных задачи систем нелинейных уравнений, основанное на идеях использования верхней оценки нормы невязки системы уравнений и квадратичной регуляризации. В работе представлено развитие схемы метода трех квадратов с добавлением моментного члена к правилу обновления искомых параметров в решаемой задаче. Получившаяся схема обладает несколькими замечательными свойствами. Во-первых, в работе алгоритмически описано ...

Добавлено: 29 декабря 2024 г.

Vaidya’s method for convex stochastic optimization problems in small dimension

Гладин Е. Л., Гасников А. В., Ermakova E., Mathematical notes 2022 Vol. 112 No. 1 P. 183–190

Добавлено: 29 ноября 2024 г.

Метод эллипсоидов для задач выпуклой стохастической оптимизации малой размерности

Гладин Е. Л., Зайнуллина К. Э., Компьютерные исследования и моделирование 2021 Т. 13 № 6 С. 1137–1147

В статье рассматривается задача минимизации математического ожидания выпуклой функции. Задачи такого вида повсеместны в машинном обучении, а также часто возникают в ряде других приложений. На практике для их решения обычно используются процедуры типа стохастического градиентного спуска (SGD). В нашей работе предлагается решать такие задачи с использованием метода эллипсоидов с мини-батчингом. Алгоритм имеет линейную скорость сходимости ...

Добавлено: 29 ноября 2024 г.

Algorithm for Constrained Markov Decision Process with Linear Convergence

Гладин Е. Л., Lavrik-Karmazin M., Zainullina K. и др., Proceedings of Machine Learning Research 2023 Vol. 206 P. 11506–11533

Добавлено: 6 ноября 2024 г.

Gradient-free Federated Learning Methods with l1 and l2-randomization for Non-smooth Convex Stochastic Optimization Problems

Alashqar B., Гасников А. В., Двинских Д. М. и др., Computational Mathematics and Mathematical Physics 2023 Vol. 63 P. 1600–1653

Добавлено: 27 марта 2024 г.

Accelerated zeroth-order method for non-smooth stochastic convex optimization problem with infinite variance

Kornilov N., Shamir O., Lobanov A. и др., , in: Advances in Neural Information Processing Systems 36 (NeurIPS 2023).: Curran Associates, Inc., 2023. P. 64083–64102.

Добавлено: 26 марта 2024 г.

One-Point Gradient-Free Methods for Smooth and Non-smooth Saddle-Point Problems

Безносиков А. Н., Novitskii V., Гасников А. В., , in: Mathematical Optimization Theory and Operations Research: 20th International Conference, MOTOR 2021, Irkutsk, Russia, July 5–10, 2021, Proceedings.: Cham: Springer, 2021. Ch. 261179 P. 144–158.

Добавлено: 30 октября 2022 г.

Noisy Zeroth-Order Optimization for Non-smooth Saddle Point Problems

Двинских Д. М., Tominin V., Tominin I. и др., , in: Mathematical Optimization Theory and Operations Research, 21st International Conference, MOTOR 2022, Petrozavodsk, Russia, July 2–6, 2022, ProceedingsVol. 13367.: Springer, 2022. Ch. 279899 P. 18–33.

Добавлено: 28 октября 2022 г.

Primal-Dual Stochastic Mirror Descent for MDPs

Тяпкин Д. Н., Alexander Gasnikov, , in: International Conference on Artificial Intelligence and Statistics, 28-30 March 2022, A Virtual ConferenceVol. 151: Proceedings of The 25th International Conference on Artificial Intelligence and Statistics.: PMLR, 2022. P. 9723–9740.

Добавлено: 16 октября 2022 г.

First-Order Constrained Optimization: Non-smooth Dynamical System Viewpoint

Schechtman S., Тяпкин Д. Н., Мулине Э. Ф. и др., IFAC-PapersOnLine 2022 Vol. 55 No. 16 P. 236–241

Добавлено: 16 октября 2022 г.

Stochastic saddle-point optimization for the Wasserstein barycenter problem

Тяпкин Д. Н., Гасников А. В., Двуреченский П. Е., Optimization Letters 2022 Vol. 16 No. 7 P. 2145–2175

Добавлено: 16 октября 2022 г.

Decentralized and parallel primal and dual accelerated methods for stochastic convex programming problems

Dvinskikh D., Гасников А. В., Journal of Inverse and Ill-posed problems 2021 Vol. 29 No. 3 P. 385–405

Добавлено: 29 октября 2021 г.

Near-Optimal High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise

Горбунов Э. А., Danilova M., Шибаев И. А. и др., / Series arXiv:2106.05958 "arXiv:2106.05958". 2021.

Добавлено: 25 октября 2021 г.

MARINA: Faster Non-Convex Distributed Learning with Compression

Горбунов Э. А., Burlachenko K., Li Z. и др., , in: Proceedings of the 38th International Conference on Machine Learning (ICML 2021)Vol. 139.: PMLR, 2021. Ch. 139 P. 3788–3798.

Добавлено: 25 октября 2021 г.

Recent Theoretical Advances in Non-Convex Optimization

Danilova M., Двуреченский П. Е., Гасников А. В. и др., / Series arXiv:2012.06188 "arXiv:2012.06188". 2020.

Добавлено: 25 октября 2021 г.

Zeroth-Order Algorithms for Smooth Saddle-Point Problems

Sadiev A., Безносиков А. Н., Двуреченский П. Е. и др., Communications in Computer and Information Science 2021 Vol. 1476 P. 71–85

Добавлено: 14 октября 2021 г.

Alternating minimization methods for strongly convex optimization

Тупица Н. К., Двуреченский П. Е., Гасников А. В. и др., Journal of Inverse and Ill-posed problems 2021 Vol. 29 No. 5 P. 721–739

Добавлено: 29 сентября 2021 г.

Accelerated and Unaccelerated Stochastic Gradient Descent in Model Generality

Dvinskikh D., Тюрин А. И., Гасников А. В. и др., Mathematical notes 2020 Vol. 108 No. 3-4 P. 511–522

Добавлено: 5 февраля 2021 г.

Linearly Converging Error Compensated SGD

Eduard Gorbunov, Kovalev D., Makarenko D. и др., , in: Advances in Neural Information Processing Systems 33 (NeurIPS 2020).: Curran Associates, Inc., 2020. P. 20889–20900.

Добавлено: 7 декабря 2020 г.

Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping

Горбунов Э. А., Danilova M., Гасников А. В., , in: Advances in Neural Information Processing Systems 33 (NeurIPS 2020).: Curran Associates, Inc., 2020. P. 15042–15053.

Добавлено: 7 декабря 2020 г.