Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees

A. Beznosikov; Richtarik P.; M. Diskin; M. Ryabinin; Alexander Gasnikov

Публикации

?

Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees

P. 14013–14029.

Безносиков А. Н., Richtarik P., Дискин М. С., Рябинин М. К., Alexander Gasnikov

Язык: английский

Полный текст

Текст на другом сайте

Ключевые слова: compression сжатие variational inequalities выпуклая оптимизация convex optimization вариационные неравенства

В книге

Thirty-Sixth Conference on Neural Information Processing Systems : NeurIPS 2022

Curran Associates, Inc., 2022.

On Linear Convergence in Smooth Convex-Concave Bilinearly-Coupled Saddle-Point Optimization: Lower Bounds and Optimal Algorithms

Бородич Е. Д., Гасников А. В., Kovalev D., , in: Volume 267: International Conference on Machine Learning, 13-19 July 2025, Vancouver Convention Center, Vancouver, CanadaVol. 267.: [б.и.], 2025. P. 5045–5100.

Добавлено: 18 ноября 2025 г.

Exploring Jacobian Inexactness in Second-Order Methods for Variational Inequalities: Lower Bounds, Optimal Algorithms and Quasi-Newton Approximations

Agafonov A., Petr Ostroukhov, Mozhaev R. и др., , in: 38th Conference on Neural Information Processing Systems (NeurIPS 2024).: [б.и.], 2024. P. 115816–115860.

Добавлено: 15 июля 2025 г.

Solving Convex Min-Min Problems with Smoothness and Strong Convexity in One Group of Variables and Low Dimension in the Other

Гладин Е. Л., Алкуса М., Гасников А. В., Automation and Remote Control 2021 Vol. 82 P. 1679–1691

Добавлено: 29 ноября 2024 г.

Vaidya’s method for convex stochastic optimization problems in small dimension

Гладин Е. Л., Гасников А. В., Ermakova E., Mathematical notes 2022 Vol. 112 No. 1 P. 183–190

Добавлено: 29 ноября 2024 г.

Accuracy Certificates for Convex Minimization with Inexact Oracle

Гладин Е. Л., Гасников А. В., Двуреченский П. Е., Journal of Optimization Theory and Applications 2025 Vol. 204 No. 1 Article 1

Accuracy certificates for convex minimization problems allow for online verification of the accuracy of approximate solutions and provide a theoretically valid online stopping criterion. When solving the Lagrange dual problem, accuracy certificates produce a simple way to recover an approximate primal solution and estimate its accuracy. In this paper, we generalize accuracy certificates for the ...

Добавлено: 29 ноября 2024 г.

Метод эллипсоидов для задач выпуклой стохастической оптимизации малой размерности

Гладин Е. Л., Зайнуллина К. Э., Компьютерные исследования и моделирование 2021 Т. 13 № 6 С. 1137–1147

В статье рассматривается задача минимизации математического ожидания выпуклой функции. Задачи такого вида повсеместны в машинном обучении, а также часто возникают в ряде других приложений. На практике для их решения обычно используются процедуры типа стохастического градиентного спуска (SGD). В нашей работе предлагается решать такие задачи с использованием метода эллипсоидов с мини-батчингом. Алгоритм имеет линейную скорость сходимости ...

Добавлено: 29 ноября 2024 г.

Обзор выпуклой оптимизации марковских процессов принятия решений

Руденко В. Д., Юдин Н. Е., Васин А. А., Компьютерные исследования и моделирование 2023 Т. 15 № 2 С. 329–353

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — ...

Добавлено: 29 ноября 2024 г.

Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems

Пучкин Н. А., Горбунов Э. А., Kutuzov N. и др., , in: Proceedings of The 27th International Conference on Artificial Intelligence and Statistics (AISTATS 2024), 2-4 May 2024, Palau de Congressos, Valencia, Spain. PMLR: Volume 238Vol. 238.: Valencia: PMLR, 2024. P. 856–864.

Добавлено: 22 апреля 2024 г.

Accelerated zeroth-order method for non-smooth stochastic convex optimization problem with infinite variance

Kornilov N., Shamir O., Lobanov A. и др., , in: Advances in Neural Information Processing Systems 36 (NeurIPS 2023).: Curran Associates, Inc., 2023. P. 64083–64102.

Добавлено: 26 марта 2024 г.

First Order Methods with Markovian Noise: from Acceleration to Variational Inequalities

Безносиков А. Н., Самсонов С. В., Шешукова М. Е. и др., , in: Advances in Neural Information Processing Systems 36 (NeurIPS 2023).: Curran Associates, Inc., 2023. P. 44820–44835.

This paper delves into stochastic optimization problems that involve Markovian noise. We present a unified approach for the theoretical analysis of first-order gradient methods for stochastic optimization and variational inequalities. Our approach covers scenarios for both non-convex and strongly convex minimization problems. To achieve an optimal (linear) dependence on the mixing time of the underlying ...

Добавлено: 17 февраля 2024 г.

On a Combination of Alternating Minimization and Nesterov’s Momentum

Guminov S., Двуреченский П. Е., Тупица Н. К. и др., , in: Proceedings of the 38th International Conference on Machine Learning (ICML 2021)Vol. 139.: PMLR, 2021. P. 3886–3898.

Добавлено: 30 октября 2022 г.

Oracle Complexity Separation in Convex Optimization

Иванова А. С., Двуреченский П. Е., Vorontsova E. и др., Journal of Optimization Theory and Applications 2022 Vol. 193 No. 1-3 P. 462–490

Добавлено: 28 октября 2022 г.