Accelerated zeroth-order method for non-smooth stochastic convex optimization problem with infinite variance

Kornilov N.; Shamir O.; Lobanov A.; D. Dvinskikh; Alexander Gasnikov; Shibaev I.; Gorbunov E.; Horváth S.

Публикации

?

Accelerated zeroth-order method for non-smooth stochastic convex optimization problem with infinite variance

P. 64083–64102.

Kornilov N., Shamir O., Lobanov A., Двинских Д. М., Alexander Gasnikov, Shibaev I., Gorbunov E., Horváth S.

Язык: английский

Полный текст

Текст на другом сайте

Ключевые слова: stochastic optimization convex optimization zeroth-order optimization zeroth-order methods

В книге

Advances in Neural Information Processing Systems 36 (NeurIPS 2023)

Curran Associates, Inc., 2023.

On Linear Convergence in Smooth Convex-Concave Bilinearly-Coupled Saddle-Point Optimization: Lower Bounds and Optimal Algorithms

Бородич Е. Д., Гасников А. В., Kovalev D., , in: Volume 267: International Conference on Machine Learning, 13-19 July 2025, Vancouver Convention Center, Vancouver, CanadaVol. 267.: [б.и.], 2025. P. 5045–5100.

Добавлено: 18 ноября 2025 г.

Gradient-free methods for non-smooth convex stochastic optimization with heavy-tailed noise on convex compact

Kornilov N., Гасников А. В., Двуреченский П. Е. и др., Computational Management Science 2023 Article 37

Добавлено: 7 февраля 2025 г.

Solving Convex Min-Min Problems with Smoothness and Strong Convexity in One Group of Variables and Low Dimension in the Other

Гладин Е. Л., Алкуса М., Гасников А. В., Automation and Remote Control 2021 Vol. 82 P. 1679–1691

Добавлено: 29 ноября 2024 г.

Vaidya’s method for convex stochastic optimization problems in small dimension

Гладин Е. Л., Гасников А. В., Ermakova E., Mathematical notes 2022 Vol. 112 No. 1 P. 183–190

Добавлено: 29 ноября 2024 г.

Accuracy Certificates for Convex Minimization with Inexact Oracle

Гладин Е. Л., Гасников А. В., Двуреченский П. Е., Journal of Optimization Theory and Applications 2025 Vol. 204 No. 1 Article 1

Accuracy certificates for convex minimization problems allow for online verification of the accuracy of approximate solutions and provide a theoretically valid online stopping criterion. When solving the Lagrange dual problem, accuracy certificates produce a simple way to recover an approximate primal solution and estimate its accuracy. In this paper, we generalize accuracy certificates for the ...

Добавлено: 29 ноября 2024 г.

Метод эллипсоидов для задач выпуклой стохастической оптимизации малой размерности

Гладин Е. Л., Зайнуллина К. Э., Компьютерные исследования и моделирование 2021 Т. 13 № 6 С. 1137–1147

В статье рассматривается задача минимизации математического ожидания выпуклой функции. Задачи такого вида повсеместны в машинном обучении, а также часто возникают в ряде других приложений. На практике для их решения обычно используются процедуры типа стохастического градиентного спуска (SGD). В нашей работе предлагается решать такие задачи с использованием метода эллипсоидов с мини-батчингом. Алгоритм имеет линейную скорость сходимости ...

Добавлено: 29 ноября 2024 г.

Обзор выпуклой оптимизации марковских процессов принятия решений

Руденко В. Д., Юдин Н. Е., Васин А. А., Компьютерные исследования и моделирование 2023 Т. 15 № 2 С. 329–353

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — ...

Добавлено: 29 ноября 2024 г.

Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems

Пучкин Н. А., Горбунов Э. А., Kutuzov N. и др., , in: Proceedings of The 27th International Conference on Artificial Intelligence and Statistics (AISTATS 2024), 2-4 May 2024, Palau de Congressos, Valencia, Spain. PMLR: Volume 238Vol. 238.: Valencia: PMLR, 2024. P. 856–864.

Добавлено: 22 апреля 2024 г.

Gradient-free Federated Learning Methods with l1 and l2-randomization for Non-smooth Convex Stochastic Optimization Problems

Alashqar B., Гасников А. В., Двинских Д. М. и др., Computational Mathematics and Mathematical Physics 2023 Vol. 63 P. 1600–1653

Добавлено: 27 марта 2024 г.

Orthogonal Directions Constrained Gradient Method: from non-linear equality constraints to Stiefel manifold

Schechtman S., Тяпкин Д. Н., Muehlebach M. и др., , in: Proceedings of Machine Learning Research: Volume 195: The Thirty Sixth Annual Conference on Learning Theory, 12-15 July 2023, Bangalore, IndiaVol. 195: The Thirty Sixth Annual Conference on Learning Theory, 12-15 July 2023, Bangalore, India.: PMLR, 2023. P. 1228–1258.

Добавлено: 1 декабря 2023 г.

Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees

Безносиков А. Н., Richtarik P., Дискин М. С. и др., , in: Thirty-Sixth Conference on Neural Information Processing Systems : NeurIPS 2022.: Curran Associates, Inc., 2022. P. 14013–14029.

Добавлено: 27 января 2023 г.

On a Combination of Alternating Minimization and Nesterov’s Momentum

Guminov S., Двуреченский П. Е., Тупица Н. К. и др., , in: Proceedings of the 38th International Conference on Machine Learning (ICML 2021)Vol. 139.: PMLR, 2021. P. 3886–3898.

Добавлено: 30 октября 2022 г.

One-Point Gradient-Free Methods for Smooth and Non-smooth Saddle-Point Problems

Безносиков А. Н., Novitskii V., Гасников А. В., , in: Mathematical Optimization Theory and Operations Research: 20th International Conference, MOTOR 2021, Irkutsk, Russia, July 5–10, 2021, Proceedings.: Cham: Springer, 2021. Ch. 261179 P. 144–158.

Добавлено: 30 октября 2022 г.

An Accelerated Method for Derivative-Free Smooth Stochastic Convex Optimization

Горбунов Э. А., Двуреченский П. Е., Гасников А. В., SIAM Journal on Optimization 2022 Vol. 32 No. 2 P. 1210–1238

Добавлено: 30 октября 2022 г.

Oracle Complexity Separation in Convex Optimization

Иванова А. С., Двуреченский П. Е., Vorontsova E. и др., Journal of Optimization Theory and Applications 2022 Vol. 193 No. 1-3 P. 462–490

Добавлено: 28 октября 2022 г.

Noisy Zeroth-Order Optimization for Non-smooth Saddle Point Problems

Двинских Д. М., Tominin V., Tominin I. и др., , in: Mathematical Optimization Theory and Operations Research, 21st International Conference, MOTOR 2022, Petrozavodsk, Russia, July 2–6, 2022, ProceedingsVol. 13367.: Springer, 2022. Ch. 279899 P. 18–33.

Добавлено: 28 октября 2022 г.

Primal-Dual Stochastic Mirror Descent for MDPs

Тяпкин Д. Н., Alexander Gasnikov, , in: International Conference on Artificial Intelligence and Statistics, 28-30 March 2022, A Virtual ConferenceVol. 151: Proceedings of The 25th International Conference on Artificial Intelligence and Statistics.: PMLR, 2022. P. 9723–9740.

Добавлено: 16 октября 2022 г.