Local SGD: Unified Theory and New Efficient Methods

E. Gorbunov; Hanzely F.; Richtarik P.

Публикации

?

Local SGD: Unified Theory and New Efficient Methods

Ch. 130. P. 3556–3564.

Горбунов Э. А., Hanzely F., Richtarik P.

Язык: английский

Текст на другом сайте

Ключевые слова: convex optimization distributed optimization

В книге

International Conference on Artificial Intelligence and Statistics, 13-15 April 2021, Virtual

Vol. 130. , PMLR, 2021.

On Linear Convergence in Smooth Convex-Concave Bilinearly-Coupled Saddle-Point Optimization: Lower Bounds and Optimal Algorithms

Бородич Е. Д., Гасников А. В., Kovalev D., , in: Volume 267: International Conference on Machine Learning, 13-19 July 2025, Vancouver Convention Center, Vancouver, CanadaVol. 267.: [б.и.], 2025. P. 5045–5100.

Добавлено: 18 ноября 2025 г.

Methods with Local Steps and Random Reshuffling for Generally Smooth Non-Convex Federated Optimization

Demidovich Y., Petr Ostroukhov, Malinovsky G. и др., , in: The Thirteenth International Conference on Learning Representations: ICLR 2025.: ICLR, 2025.

Добавлено: 15 июля 2025 г.

Solving Convex Min-Min Problems with Smoothness and Strong Convexity in One Group of Variables and Low Dimension in the Other

Гладин Е. Л., Алкуса М., Гасников А. В., Automation and Remote Control 2021 Vol. 82 P. 1679–1691

Добавлено: 29 ноября 2024 г.

Vaidya’s method for convex stochastic optimization problems in small dimension

Гладин Е. Л., Гасников А. В., Ermakova E., Mathematical notes 2022 Vol. 112 No. 1 P. 183–190

Добавлено: 29 ноября 2024 г.

Accuracy Certificates for Convex Minimization with Inexact Oracle

Гладин Е. Л., Гасников А. В., Двуреченский П. Е., Journal of Optimization Theory and Applications 2025 Vol. 204 No. 1 Article 1

Accuracy certificates for convex minimization problems allow for online verification of the accuracy of approximate solutions and provide a theoretically valid online stopping criterion. When solving the Lagrange dual problem, accuracy certificates produce a simple way to recover an approximate primal solution and estimate its accuracy. In this paper, we generalize accuracy certificates for the ...

Добавлено: 29 ноября 2024 г.

Метод эллипсоидов для задач выпуклой стохастической оптимизации малой размерности

Гладин Е. Л., Зайнуллина К. Э., Компьютерные исследования и моделирование 2021 Т. 13 № 6 С. 1137–1147

В статье рассматривается задача минимизации математического ожидания выпуклой функции. Задачи такого вида повсеместны в машинном обучении, а также часто возникают в ряде других приложений. На практике для их решения обычно используются процедуры типа стохастического градиентного спуска (SGD). В нашей работе предлагается решать такие задачи с использованием метода эллипсоидов с мини-батчингом. Алгоритм имеет линейную скорость сходимости ...

Добавлено: 29 ноября 2024 г.

Обзор выпуклой оптимизации марковских процессов принятия решений

Руденко В. Д., Юдин Н. Е., Васин А. А., Компьютерные исследования и моделирование 2023 Т. 15 № 2 С. 329–353

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — ...

Добавлено: 29 ноября 2024 г.

Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems

Пучкин Н. А., Горбунов Э. А., Kutuzov N. и др., , in: Proceedings of The 27th International Conference on Artificial Intelligence and Statistics (AISTATS 2024), 2-4 May 2024, Palau de Congressos, Valencia, Spain. PMLR: Volume 238Vol. 238.: Valencia: PMLR, 2024. P. 856–864.

Добавлено: 22 апреля 2024 г.

Accelerated zeroth-order method for non-smooth stochastic convex optimization problem with infinite variance

Kornilov N., Shamir O., Lobanov A. и др., , in: Advances in Neural Information Processing Systems 36 (NeurIPS 2023).: Curran Associates, Inc., 2023. P. 64083–64102.

Добавлено: 26 марта 2024 г.

Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees

Безносиков А. Н., Richtarik P., Дискин М. С. и др., , in: Thirty-Sixth Conference on Neural Information Processing Systems : NeurIPS 2022.: Curran Associates, Inc., 2022. P. 14013–14029.

Добавлено: 27 января 2023 г.

On a Combination of Alternating Minimization and Nesterov’s Momentum

Guminov S., Двуреченский П. Е., Тупица Н. К. и др., , in: Proceedings of the 38th International Conference on Machine Learning (ICML 2021)Vol. 139.: PMLR, 2021. P. 3886–3898.

Добавлено: 30 октября 2022 г.

Oracle Complexity Separation in Convex Optimization

Иванова А. С., Двуреченский П. Е., Vorontsova E. и др., Journal of Optimization Theory and Applications 2022 Vol. 193 No. 1-3 P. 462–490

Добавлено: 28 октября 2022 г.

Decentralized personalized federated learning: Lower bounds and optimal algorithm for all personalization modes

Sadiev A., Borodich E., Безносиков А. Н. и др., EURO Journal on Computational Optimization 2022 Vol. 10 Article 100041

Добавлено: 28 октября 2022 г.

Moshpit SGD: Communication-Efficient Decentralized Training on Heterogeneous Unreliable Devices

Рябинин М. К., Горбунов Э. А., Plokhotnyuk V. и др., , in: Advances in Neural Information Processing Systems 34 (NeurIPS 2021).: Curran Associates, Inc., 2021. P. 18195–18211.

Добавлено: 1 февраля 2022 г.

Application of the nested convex programming to the optimal power flow in MT-HVDC grids

Garces A., Azhmyakov V., IFAC-PapersOnLine 2020 Vol. 53 No. 2 P. 13173–13177

Добавлено: 30 октября 2021 г.

Inexact model: a framework for optimization and variational inequalities

Stonyakin F., Тюрин А. И., Гасников А. В. и др., Optimization Methods and Software 2021 Vol. 36 No. 6 P. 1155–1201

Добавлено: 29 октября 2021 г.

Decentralized and parallel primal and dual accelerated methods for stochastic convex programming problems

Dvinskikh D., Гасников А. В., Journal of Inverse and Ill-posed problems 2021 Vol. 29 No. 3 P. 385–405

Добавлено: 29 октября 2021 г.

Near-Optimal High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise

Горбунов Э. А., Danilova M., Шибаев И. А. и др., / Series arXiv:2106.05958 "arXiv:2106.05958". 2021.

Добавлено: 25 октября 2021 г.

MARINA: Faster Non-Convex Distributed Learning with Compression

Горбунов Э. А., Burlachenko K., Li Z. и др., , in: Proceedings of the 38th International Conference on Machine Learning (ICML 2021)Vol. 139.: PMLR, 2021. Ch. 139 P. 3788–3798.

Добавлено: 25 октября 2021 г.

Derivative-Free Method For Composite Optimization With Applications To Decentralized Distributed Optimization

Безносиков А. Н., Горбунов Э. А., Гасников А. В., IFAC-PapersOnLine 2021 Vol. 53 No. 2 P. 4038–4043

Добавлено: 14 октября 2021 г.