MARINA: Faster Non-Convex Distributed Learning with Compression

E. Gorbunov; Burlachenko K.; Li Z.; Richtarik P.

Публикации

?

MARINA: Faster Non-Convex Distributed Learning with Compression

Ch. 139. P. 3788–3798.

Горбунов Э. А., Burlachenko K., Li Z., Richtarik P.

Язык: английский

Текст на другом сайте

Ключевые слова: non-convex optimization distributed optimization

В книге

Proceedings of the 38th International Conference on Machine Learning (ICML 2021)

Vol. 139. , PMLR, 2021.

Methods with Local Steps and Random Reshuffling for Generally Smooth Non-Convex Federated Optimization

Demidovich Y., Petr Ostroukhov, Malinovsky G. и др., , in: The Thirteenth International Conference on Learning Representations: ICLR 2025.: ICLR, 2025.

Добавлено: 15 июля 2025 г.

Регуляризация и ускорение метода Гаусса–Ньютона

Юдин Н. Е., Гасников А. В., Компьютерные исследования и моделирование 2024 Т. 16 № 7 С. 1829–1840

Предлагается семейство методов Гаусса–Ньютона для решения оптимизационных задачи систем нелинейных уравнений, основанное на идеях использования верхней оценки нормы невязки системы уравнений и квадратичной регуляризации. В работе представлено развитие схемы метода трех квадратов с добавлением моментного члена к правилу обновления искомых параметров в решаемой задаче. Получившаяся схема обладает несколькими замечательными свойствами. Во-первых, в работе алгоритмически описано ...

Добавлено: 29 декабря 2024 г.

Orthogonal Directions Constrained Gradient Method: from non-linear equality constraints to Stiefel manifold

Schechtman S., Тяпкин Д. Н., Muehlebach M. и др., , in: Proceedings of Machine Learning Research: Volume 195: The Thirty Sixth Annual Conference on Learning Theory, 12-15 July 2023, Bangalore, IndiaVol. 195: The Thirty Sixth Annual Conference on Learning Theory, 12-15 July 2023, Bangalore, India.: PMLR, 2023. P. 1228–1258.

Добавлено: 1 декабря 2023 г.

Decentralized personalized federated learning: Lower bounds and optimal algorithm for all personalization modes

Sadiev A., Borodich E., Безносиков А. Н. и др., EURO Journal on Computational Optimization 2022 Vol. 10 Article 100041

Добавлено: 28 октября 2022 г.

Moshpit SGD: Communication-Efficient Decentralized Training on Heterogeneous Unreliable Devices

Рябинин М. К., Горбунов Э. А., Plokhotnyuk V. и др., , in: Advances in Neural Information Processing Systems 34 (NeurIPS 2021).: Curran Associates, Inc., 2021. P. 18195–18211.

Добавлено: 1 февраля 2022 г.

Recent Theoretical Advances in Non-Convex Optimization

Danilova M., Двуреченский П. Е., Гасников А. В. и др., / Series arXiv:2012.06188 "arXiv:2012.06188". 2020.

Добавлено: 25 октября 2021 г.

Local SGD: Unified Theory and New Efficient Methods

Горбунов Э. А., Hanzely F., Richtarik P., , in: International Conference on Artificial Intelligence and Statistics, 13-15 April 2021, VirtualVol. 130.: PMLR, 2021. Ch. 130 P. 3556–3564.

Добавлено: 25 октября 2021 г.

Derivative-Free Method For Composite Optimization With Applications To Decentralized Distributed Optimization

Безносиков А. Н., Горбунов Э. А., Гасников А. В., IFAC-PapersOnLine 2021 Vol. 53 No. 2 P. 4038–4043

Добавлено: 14 октября 2021 г.

Alternating minimization methods for strongly convex optimization

Тупица Н. К., Двуреченский П. Е., Гасников А. В. и др., Journal of Inverse and Ill-posed problems 2021 Vol. 29 No. 5 P. 721–739

Добавлено: 29 сентября 2021 г.

Linearly Converging Error Compensated SGD

Eduard Gorbunov, Kovalev D., Makarenko D. и др., , in: Advances in Neural Information Processing Systems 33 (NeurIPS 2020).: Curran Associates, Inc., 2020. P. 20889–20900.

Добавлено: 7 декабря 2020 г.

A Stochastic Derivative Free Optimization Method with Momentum

Eduard Gorbunov, Bibi A., Sener O. и др., , in: Proceedings of the 8th International Conference on Learning Representations (ICLR 2020).: ICLR, 2020. P. 1–28.

Добавлено: 7 декабря 2020 г.

Stochastic Three Points Method for Unconstrained Smooth Minimization

Bergou E. H., Eduard Gorbunov, Richtarik P., SIAM Journal on Optimization 2020 Vol. 30 No. 4 P. 2726–2749

Добавлено: 10 ноября 2020 г.

Accelerated primal-dual gradient descent with linesearch for convex, nonconvex, and nonsmooth optimization problems

Guminov S., Нестеров Ю. Е., Двуреченский П. Е. и др., Doklady Mathematics 2019 Vol. 99 No. 2 P. 125–128

Добавлено: 31 октября 2020 г.

Learning supervised pagerank with gradient-based and gradient-free optimization methods

Bogolubsky L., Двуреченский П. Е., Гасников А. В. и др., , in: Advances in Neural Information Processing Systems 29 (NIPS 2016).: NY: Curran Associates, 2016. P. 4914–4922.

Добавлено: 31 октября 2020 г.

Towards accelerated rates for distributed optimization over time-varying networks

Рогозин А. В., Lukoshkin V., Гасников А. В. и др., / Series arXiv "math". 2020.

Добавлено: 7 октября 2020 г.

Optimal distributed convex optimization on slowly time-varying graphs

Рогозин А. В., Uribe C., Гасников А. В. и др., IEEE Transactions on Control of Network Systems 2020 Vol. 7 No. 2 P. 829–841

Добавлено: 7 октября 2020 г.

Primal–dual accelerated gradient methods with small-dimensional relaxation oracle

Nesterov Y., Гасников А. В., Guminov S. и др., Optimization Methods and Software 2021 Vol. 36 No. 4 P. 773–810

Добавлено: 4 августа 2020 г.

On the Complexity of Approximating Wasserstein Barycenters

Крошнин А. В., Tupitsa Nazarii, Двинских Д. М. и др., , in: Proceedings of Machine Learning ResearchVol. 97: International Conference on Machine Learning, 9-15 June 2019, Long Beach, California, USA.: PMLR, 2019. P. 3530–3540.

We study the complexity of approximating the Wasserstein barycenter of m discrete measures, or histograms of size n, by contrasting two alternative approaches that use entropic regularization. The first approach is based on the Iterative Bregman Projections (IBP) algorithm for which our novel analysis gives a complexity bound proportional to $m n^2 / \epsilon^2$ to approximate the original non-regularized barycenter. ...

Добавлено: 11 июня 2019 г.

The active muon shield in the SHiP experiment

Устюжанин А. Е., Баранов А. С., Ратников Ф. Д. и др., Journal of Instrumentation 2017 Vol. 12 No. 5 P. 1–8

Добавлено: 26 февраля 2018 г.

Non-Convex Multi-Objective Optimization

Пардалос П. О., Žilinskas A., Žilinskas J., Springer, 2017.

Добавлено: 29 сентября 2017 г.