Noisy Zeroth-Order Optimization for Non-smooth Saddle Point Problems

В статье рассматривается задача минимизации математического ожидания выпуклой функции. Задачи такого вида повсеместны в машинном обучении, а также часто возникают в ряде других приложений. На практике для их решения обычно используются процедуры типа стохастического градиентного спуска (SGD). В нашей работе предлагается решать такие задачи с использованием метода эллипсоидов с мини-батчингом. Алгоритм имеет линейную скорость сходимости ...

Добавлено: 29 ноября 2024 г.

Gradient-free Federated Learning Methods with l1 and l2-randomization for Non-smooth Convex Stochastic Optimization Problems

Alashqar B., Гасников А. В., Двинских Д. М. и др., Computational Mathematics and Mathematical Physics 2023 Vol. 63 P. 1600–1653

Добавлено: 27 марта 2024 г.

Accelerated zeroth-order method for non-smooth stochastic convex optimization problem with infinite variance

Kornilov N., Shamir O., Lobanov A. и др., , in: Advances in Neural Information Processing Systems 36 (NeurIPS 2023).: Curran Associates, Inc., 2023. P. 64083–64102.

Добавлено: 26 марта 2024 г.

Orthogonal Directions Constrained Gradient Method: from non-linear equality constraints to Stiefel manifold

Schechtman S., Тяпкин Д. Н., Muehlebach M. и др., , in: Proceedings of Machine Learning Research: Volume 195: The Thirty Sixth Annual Conference on Learning Theory, 12-15 July 2023, Bangalore, IndiaVol. 195: The Thirty Sixth Annual Conference on Learning Theory, 12-15 July 2023, Bangalore, India.: PMLR, 2023. P. 1228–1258.

Добавлено: 1 декабря 2023 г.

One-Point Gradient-Free Methods for Smooth and Non-smooth Saddle-Point Problems

Безносиков А. Н., Novitskii V., Гасников А. В., , in: Mathematical Optimization Theory and Operations Research: 20th International Conference, MOTOR 2021, Irkutsk, Russia, July 5–10, 2021, Proceedings.: Cham: Springer, 2021. Ch. 261179 P. 144–158.

Добавлено: 30 октября 2022 г.

Primal-Dual Stochastic Mirror Descent for MDPs

Тяпкин Д. Н., Alexander Gasnikov, , in: International Conference on Artificial Intelligence and Statistics, 28-30 March 2022, A Virtual ConferenceVol. 151: Proceedings of The 25th International Conference on Artificial Intelligence and Statistics.: PMLR, 2022. P. 9723–9740.

Добавлено: 16 октября 2022 г.

First-Order Constrained Optimization: Non-smooth Dynamical System Viewpoint

Schechtman S., Тяпкин Д. Н., Мулине Э. Ф. и др., IFAC-PapersOnLine 2022 Vol. 55 No. 16 P. 236–241

Добавлено: 16 октября 2022 г.

Stochastic saddle-point optimization for the Wasserstein barycenter problem

Тяпкин Д. Н., Гасников А. В., Двуреченский П. Е., Optimization Letters 2022 Vol. 16 No. 7 P. 2145–2175

Добавлено: 16 октября 2022 г.

Decentralized and parallel primal and dual accelerated methods for stochastic convex programming problems

Dvinskikh D., Гасников А. В., Journal of Inverse and Ill-posed problems 2021 Vol. 29 No. 3 P. 385–405

Добавлено: 29 октября 2021 г.

Near-Optimal High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise

Горбунов Э. А., Danilova M., Шибаев И. А. и др., / Series arXiv:2106.05958 "arXiv:2106.05958". 2021.

Добавлено: 25 октября 2021 г.

Zeroth-Order Algorithms for Smooth Saddle-Point Problems

Sadiev A., Безносиков А. Н., Двуреченский П. Е. и др., Communications in Computer and Information Science 2021 Vol. 1476 P. 71–85

Добавлено: 14 октября 2021 г.

Accelerated and Unaccelerated Stochastic Gradient Descent in Model Generality

Dvinskikh D., Тюрин А. И., Гасников А. В. и др., Mathematical notes 2020 Vol. 108 No. 3-4 P. 511–522

Добавлено: 5 февраля 2021 г.

Linearly Converging Error Compensated SGD

Eduard Gorbunov, Kovalev D., Makarenko D. и др., , in: Advances in Neural Information Processing Systems 33 (NeurIPS 2020).: Curran Associates, Inc., 2020. P. 20889–20900.

Добавлено: 7 декабря 2020 г.

Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping

Горбунов Э. А., Danilova M., Гасников А. В., , in: Advances in Neural Information Processing Systems 33 (NeurIPS 2020).: Curran Associates, Inc., 2020. P. 15042–15053.

Добавлено: 7 декабря 2020 г.

Proceedings of the Twenty Third International Conference on Artificial Intelligence and Statistics, PMLR 108

Eduard Gorbunov, Hanzely F., Richtarik P., PMLR, 2020.

Добавлено: 7 декабря 2020 г.

Low-Variance Black-Box Gradient Estimates for the Plackett-Luce Distribution

Гадецкий А. В., Струминский К. А., Robinson C. и др., , in: Thirty-Fourth AAAI Conference on Artificial IntelligenceVol. 34.: AAAI Press, 2020. P. 10126–10135.

Добавлено: 11 октября 2020 г.

A Superlinearly-Convergent Proximal Newton-type Method for the Optimization of Finite Sums

Родоманов А. О., Кропотов Д. А., , in: Proceedings of Machine Learning Research. Proceedings of the International Conference on Machine Learning (ICML 2016)Vol. 48.: NY: [б.и.], 2016. P. 2597–2605.

Добавлено: 10 декабря 2018 г.

A Superlinearly-Convergent Proximal Newton-Type Method for the Optimization of Finite Sums

Родоманов А. О., Kropotov D., Journal of Machine Learning Research 2016 Vol. 48 P. 2597–2605

We consider the problem of optimizing the strongly convex sum of a finite number of convex functions. Standard algorithms for solving this problem in the class of incremental/stochastic methods have at most a linear convergence rate. We propose a new incremental method whose convergence rate is superlinear – the Newton-type incremental method (NIM). The idea ...

Добавлено: 11 марта 2017 г.