Improved Stochastic Optimization of LogSumExp

В статье рассматривается задача минимизации математического ожидания выпуклой функции. Задачи такого вида повсеместны в машинном обучении, а также часто возникают в ряде других приложений. На практике для их решения обычно используются процедуры типа стохастического градиентного спуска (SGD). В нашей работе предлагается решать такие задачи с использованием метода эллипсоидов с мини-батчингом. Алгоритм имеет линейную скорость сходимости ...

Добавлено: 29 ноября 2024 г.

Gradient-free Federated Learning Methods with l1 and l2-randomization for Non-smooth Convex Stochastic Optimization Problems

Alashqar B., Гасников А. В., Двинских Д. М. и др., Computational Mathematics and Mathematical Physics 2023 Vol. 63 P. 1600–1653

Добавлено: 27 марта 2024 г.

Accelerated zeroth-order method for non-smooth stochastic convex optimization problem with infinite variance

Kornilov N., Shamir O., Lobanov A. и др., , in: Advances in Neural Information Processing Systems 36 (NeurIPS 2023).: Curran Associates, Inc., 2023. P. 64083–64102.

Добавлено: 26 марта 2024 г.

Orthogonal Directions Constrained Gradient Method: from non-linear equality constraints to Stiefel manifold

Schechtman S., Тяпкин Д. Н., Muehlebach M. и др., , in: Proceedings of Machine Learning Research: Volume 195: The Thirty Sixth Annual Conference on Learning Theory, 12-15 July 2023, Bangalore, IndiaVol. 195: The Thirty Sixth Annual Conference on Learning Theory, 12-15 July 2023, Bangalore, India.: PMLR, 2023. P. 1228–1258.

Добавлено: 1 декабря 2023 г.

A study of distributionally robust mixed-integer programming with Wasserstein metric: on the value of incomplete data

Sergey S. Ketkov, European Journal of Operational Research 2024 Vol. 313 No. 2 P. 602–615

Добавлено: 31 октября 2023 г.

On the Multistage Shortest Path Problem Under Distributional Uncertainty

Кетков С. С., Journal of Optimization Theory and Applications 2023 Vol. 197 P. 277–308

Добавлено: 11 апреля 2023 г.

One-Point Gradient-Free Methods for Smooth and Non-smooth Saddle-Point Problems

Безносиков А. Н., Novitskii V., Гасников А. В., , in: Mathematical Optimization Theory and Operations Research: 20th International Conference, MOTOR 2021, Irkutsk, Russia, July 5–10, 2021, Proceedings.: Cham: Springer, 2021. Ch. 261179 P. 144–158.

Добавлено: 30 октября 2022 г.

Noisy Zeroth-Order Optimization for Non-smooth Saddle Point Problems

Двинских Д. М., Tominin V., Tominin I. и др., , in: Mathematical Optimization Theory and Operations Research, 21st International Conference, MOTOR 2022, Petrozavodsk, Russia, July 2–6, 2022, ProceedingsVol. 13367.: Springer, 2022. Ch. 279899 P. 18–33.

Добавлено: 28 октября 2022 г.

Primal-Dual Stochastic Mirror Descent for MDPs

Тяпкин Д. Н., Alexander Gasnikov, , in: International Conference on Artificial Intelligence and Statistics, 28-30 March 2022, A Virtual ConferenceVol. 151: Proceedings of The 25th International Conference on Artificial Intelligence and Statistics.: PMLR, 2022. P. 9723–9740.

Добавлено: 16 октября 2022 г.

First-Order Constrained Optimization: Non-smooth Dynamical System Viewpoint

Schechtman S., Тяпкин Д. Н., Мулине Э. Ф. и др., IFAC-PapersOnLine 2022 Vol. 55 No. 16 P. 236–241

Добавлено: 16 октября 2022 г.

Stochastic saddle-point optimization for the Wasserstein barycenter problem

Тяпкин Д. Н., Гасников А. В., Двуреченский П. Е., Optimization Letters 2022 Vol. 16 No. 7 P. 2145–2175

Добавлено: 16 октября 2022 г.

Decentralized and parallel primal and dual accelerated methods for stochastic convex programming problems

Dvinskikh D., Гасников А. В., Journal of Inverse and Ill-posed problems 2021 Vol. 29 No. 3 P. 385–405

Добавлено: 29 октября 2021 г.

Near-Optimal High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise

Горбунов Э. А., Danilova M., Шибаев И. А. и др., / Series arXiv:2106.05958 "arXiv:2106.05958". 2021.

Добавлено: 25 октября 2021 г.

Zeroth-Order Algorithms for Smooth Saddle-Point Problems

Sadiev A., Безносиков А. Н., Двуреченский П. Е. и др., Communications in Computer and Information Science 2021 Vol. 1476 P. 71–85

Добавлено: 14 октября 2021 г.

Accelerated and Unaccelerated Stochastic Gradient Descent in Model Generality

Dvinskikh D., Тюрин А. И., Гасников А. В. и др., Mathematical notes 2020 Vol. 108 No. 3-4 P. 511–522

Добавлено: 5 февраля 2021 г.

Linearly Converging Error Compensated SGD

Eduard Gorbunov, Kovalev D., Makarenko D. и др., , in: Advances in Neural Information Processing Systems 33 (NeurIPS 2020).: Curran Associates, Inc., 2020. P. 20889–20900.

Добавлено: 7 декабря 2020 г.

Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping

Горбунов Э. А., Danilova M., Гасников А. В., , in: Advances in Neural Information Processing Systems 33 (NeurIPS 2020).: Curran Associates, Inc., 2020. P. 15042–15053.

Добавлено: 7 декабря 2020 г.

Proceedings of the Twenty Third International Conference on Artificial Intelligence and Statistics, PMLR 108

Eduard Gorbunov, Hanzely F., Richtarik P., PMLR, 2020.

Добавлено: 7 декабря 2020 г.

Low-Variance Black-Box Gradient Estimates for the Plackett-Luce Distribution

Гадецкий А. В., Струминский К. А., Robinson C. и др., , in: Thirty-Fourth AAAI Conference on Artificial IntelligenceVol. 34.: AAAI Press, 2020. P. 10126–10135.

Добавлено: 11 октября 2020 г.