Linearly Converging Error Compensated SGD

Eduard Gorbunov; Kovalev D.; Makarenko D.; Richtarik P.

Публикации

?

Linearly Converging Error Compensated SGD

P. 20889–20900.

Eduard Gorbunov, Kovalev D., Makarenko D., Richtarik P.

Язык: английский

Полный текст

Текст на другом сайте

Ключевые слова: quantization stochastic optimization variance reduction convex optimization distributed optimization error compensation delayed updates

В книге

Advances in Neural Information Processing Systems 33 (NeurIPS 2020)

Curran Associates, Inc., 2020.

On Linear Convergence in Smooth Convex-Concave Bilinearly-Coupled Saddle-Point Optimization: Lower Bounds and Optimal Algorithms

Бородич Е. Д., Гасников А. В., Kovalev D., , in: Volume 267: International Conference on Machine Learning, 13-19 July 2025, Vancouver Convention Center, Vancouver, CanadaVol. 267.: [б.и.], 2025. P. 5045–5100.

Добавлено: 18 ноября 2025 г.

Methods with Local Steps and Random Reshuffling for Generally Smooth Non-Convex Federated Optimization

Demidovich Y., Petr Ostroukhov, Malinovsky G. и др., , in: The Thirteenth International Conference on Learning Representations: ICLR 2025.: ICLR, 2025.

Добавлено: 15 июля 2025 г.

Gradient-free methods for non-smooth convex stochastic optimization with heavy-tailed noise on convex compact

Kornilov N., Гасников А. В., Двуреченский П. Е. и др., Computational Management Science 2023 Article 37

Добавлено: 7 февраля 2025 г.

Solving Convex Min-Min Problems with Smoothness and Strong Convexity in One Group of Variables and Low Dimension in the Other

Гладин Е. Л., Алкуса М., Гасников А. В., Automation and Remote Control 2021 Vol. 82 P. 1679–1691

Добавлено: 29 ноября 2024 г.

Vaidya’s method for convex stochastic optimization problems in small dimension

Гладин Е. Л., Гасников А. В., Ermakova E., Mathematical notes 2022 Vol. 112 No. 1 P. 183–190

Добавлено: 29 ноября 2024 г.

Accuracy Certificates for Convex Minimization with Inexact Oracle

Гладин Е. Л., Гасников А. В., Двуреченский П. Е., Journal of Optimization Theory and Applications 2025 Vol. 204 No. 1 Article 1

Accuracy certificates for convex minimization problems allow for online verification of the accuracy of approximate solutions and provide a theoretically valid online stopping criterion. When solving the Lagrange dual problem, accuracy certificates produce a simple way to recover an approximate primal solution and estimate its accuracy. In this paper, we generalize accuracy certificates for the ...

Добавлено: 29 ноября 2024 г.

Метод эллипсоидов для задач выпуклой стохастической оптимизации малой размерности

Гладин Е. Л., Зайнуллина К. Э., Компьютерные исследования и моделирование 2021 Т. 13 № 6 С. 1137–1147

В статье рассматривается задача минимизации математического ожидания выпуклой функции. Задачи такого вида повсеместны в машинном обучении, а также часто возникают в ряде других приложений. На практике для их решения обычно используются процедуры типа стохастического градиентного спуска (SGD). В нашей работе предлагается решать такие задачи с использованием метода эллипсоидов с мини-батчингом. Алгоритм имеет линейную скорость сходимости ...

Добавлено: 29 ноября 2024 г.

Variance reduction for minimax problems with a small dimension of one of the variables

Гладин Е. Л., Бородич Е. Д., Computer Research and Modeling 2022 Vol. 14 No. 2 P. 257–275

Добавлено: 29 ноября 2024 г.

Обзор выпуклой оптимизации марковских процессов принятия решений

Руденко В. Д., Юдин Н. Е., Васин А. А., Компьютерные исследования и моделирование 2023 Т. 15 № 2 С. 329–353

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — ...

Добавлено: 29 ноября 2024 г.

Diffusion approximations and control variates for MCMC

Brosse N., Durmus A., Meyn S. и др., Computational Mathematics and Mathematical Physics 2024 Vol. 64 No. 4 P. 693–738

Добавлено: 13 октября 2024 г.

Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems

Пучкин Н. А., Горбунов Э. А., Kutuzov N. и др., , in: Proceedings of The 27th International Conference on Artificial Intelligence and Statistics (AISTATS 2024), 2-4 May 2024, Palau de Congressos, Valencia, Spain. PMLR: Volume 238Vol. 238.: Valencia: PMLR, 2024. P. 856–864.

Добавлено: 22 апреля 2024 г.

Gradient-free Federated Learning Methods with l1 and l2-randomization for Non-smooth Convex Stochastic Optimization Problems

Alashqar B., Гасников А. В., Двинских Д. М. и др., Computational Mathematics and Mathematical Physics 2023 Vol. 63 P. 1600–1653

Добавлено: 27 марта 2024 г.

Accelerated zeroth-order method for non-smooth stochastic convex optimization problem with infinite variance

Kornilov N., Shamir O., Lobanov A. и др., , in: Advances in Neural Information Processing Systems 36 (NeurIPS 2023).: Curran Associates, Inc., 2023. P. 64083–64102.

Добавлено: 26 марта 2024 г.

Orthogonal Directions Constrained Gradient Method: from non-linear equality constraints to Stiefel manifold

Schechtman S., Тяпкин Д. Н., Muehlebach M. и др., , in: Proceedings of Machine Learning Research: Volume 195: The Thirty Sixth Annual Conference on Learning Theory, 12-15 July 2023, Bangalore, IndiaVol. 195: The Thirty Sixth Annual Conference on Learning Theory, 12-15 July 2023, Bangalore, India.: PMLR, 2023. P. 1228–1258.

Добавлено: 1 декабря 2023 г.

Variance Reduction for Policy-Gradient Methods via Empirical Variance Minimization

Беломестный Д. В., Каледин М. Л., Golubev A., /. 2022.

Добавлено: 14 апреля 2023 г.

BR-SNIS: Bias Reduced Self-Normalized Importance Sampling

Cardoso G., Самсонов С. В., Thin A. и др., , in: Thirty-Sixth Conference on Neural Information Processing Systems : NeurIPS 2022.: Curran Associates, Inc., 2022. P. 716–729.

Добавлено: 1 февраля 2023 г.

Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees

Безносиков А. Н., Richtarik P., Дискин М. С. и др., , in: Thirty-Sixth Conference on Neural Information Processing Systems : NeurIPS 2022.: Curran Associates, Inc., 2022. P. 14013–14029.

Добавлено: 27 января 2023 г.

Comparison of different coding schemes for 1-bit ADC

Осипов Д. С., / Series arXiv "math". 2022. No. 1.

Добавлено: 27 декабря 2022 г.