On a Combination of Alternating Minimization and Nesterov’s Momentum

Guminov S.; P. Dvurechensky; N. Tupitsa; A. Gasnikov

Публикации

?

On a Combination of Alternating Minimization and Nesterov’s Momentum

P. 3886–3898.

Guminov S., Двуреченский П. Е., Тупица Н. К., Гасников А. В.

Язык: английский

Текст на другом сайте

Ключевые слова: Alternating minimization convex optimization

В книге

Proceedings of the 38th International Conference on Machine Learning (ICML 2021)

Vol. 139. , PMLR, 2021.

Refining uniform approximation algorithm for low-rank Chebyshev embeddings

Stanislav Morozov, Zheltkov D., Osinsky A., Russian Journal on Numerical Analysis and Mathematical Modelling 2024 Vol. 39 No. 5 P. 311–328

Добавлено: 18 февраля 2026 г.

On Linear Convergence in Smooth Convex-Concave Bilinearly-Coupled Saddle-Point Optimization: Lower Bounds and Optimal Algorithms

Бородич Е. Д., Гасников А. В., Kovalev D., , in: Volume 267: International Conference on Machine Learning, 13-19 July 2025, Vancouver Convention Center, Vancouver, CanadaVol. 267.: [б.и.], 2025. P. 5045–5100.

Добавлено: 18 ноября 2025 г.

On the optimal rank-1 approximation of matrices in the Chebyshev norm

Stanislav Morozov, Smirnov M., Zamarashkin N., Linear Algebra and its Applications 2023 Vol. 679 P. 4–29

The problem of low rank approximation is ubiquitous in science. Traditionally this problem is solved in unitary invariant norms such as Frobenius or spectral norm due to existence of eﬃcient methods for building approximations. However, recent results reveal the potential of low rank approximations in Chebyshev norm, which naturally arises in many applications. In this paper ...

Добавлено: 10 апреля 2025 г.

Solving Convex Min-Min Problems with Smoothness and Strong Convexity in One Group of Variables and Low Dimension in the Other

Гладин Е. Л., Алкуса М., Гасников А. В., Automation and Remote Control 2021 Vol. 82 P. 1679–1691

Добавлено: 29 ноября 2024 г.

Vaidya’s method for convex stochastic optimization problems in small dimension

Гладин Е. Л., Гасников А. В., Ermakova E., Mathematical notes 2022 Vol. 112 No. 1 P. 183–190

Добавлено: 29 ноября 2024 г.

Accuracy Certificates for Convex Minimization with Inexact Oracle

Гладин Е. Л., Гасников А. В., Двуреченский П. Е., Journal of Optimization Theory and Applications 2025 Vol. 204 No. 1 Article 1

Accuracy certificates for convex minimization problems allow for online verification of the accuracy of approximate solutions and provide a theoretically valid online stopping criterion. When solving the Lagrange dual problem, accuracy certificates produce a simple way to recover an approximate primal solution and estimate its accuracy. In this paper, we generalize accuracy certificates for the ...

Добавлено: 29 ноября 2024 г.

Метод эллипсоидов для задач выпуклой стохастической оптимизации малой размерности

Гладин Е. Л., Зайнуллина К. Э., Компьютерные исследования и моделирование 2021 Т. 13 № 6 С. 1137–1147

В статье рассматривается задача минимизации математического ожидания выпуклой функции. Задачи такого вида повсеместны в машинном обучении, а также часто возникают в ряде других приложений. На практике для их решения обычно используются процедуры типа стохастического градиентного спуска (SGD). В нашей работе предлагается решать такие задачи с использованием метода эллипсоидов с мини-батчингом. Алгоритм имеет линейную скорость сходимости ...

Добавлено: 29 ноября 2024 г.

Обзор выпуклой оптимизации марковских процессов принятия решений

Руденко В. Д., Юдин Н. Е., Васин А. А., Компьютерные исследования и моделирование 2023 Т. 15 № 2 С. 329–353

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — ...

Добавлено: 29 ноября 2024 г.

Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems

Пучкин Н. А., Горбунов Э. А., Kutuzov N. и др., , in: Proceedings of The 27th International Conference on Artificial Intelligence and Statistics (AISTATS 2024), 2-4 May 2024, Palau de Congressos, Valencia, Spain. PMLR: Volume 238Vol. 238.: Valencia: PMLR, 2024. P. 856–864.

Добавлено: 22 апреля 2024 г.

Accelerated zeroth-order method for non-smooth stochastic convex optimization problem with infinite variance

Kornilov N., Shamir O., Lobanov A. и др., , in: Advances in Neural Information Processing Systems 36 (NeurIPS 2023).: Curran Associates, Inc., 2023. P. 64083–64102.

Добавлено: 26 марта 2024 г.

Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees

Безносиков А. Н., Richtarik P., Дискин М. С. и др., , in: Thirty-Sixth Conference on Neural Information Processing Systems : NeurIPS 2022.: Curran Associates, Inc., 2022. P. 14013–14029.

Добавлено: 27 января 2023 г.

Adaptive Catalyst for Smooth Convex Optimization

Иванова А. С., Pasechnyuk D., Grishchenko D. и др., , in: Optimization and Applications: 12th International Conference, OPTIMA 2021, Petrovac, Montenegro, September 27 – October 1, 2021, Proceedings.: Switzerland: Springer, 2021. Ch. 268319 P. 20–37.

Добавлено: 30 октября 2022 г.

Oracle Complexity Separation in Convex Optimization

Иванова А. С., Двуреченский П. Е., Vorontsova E. и др., Journal of Optimization Theory and Applications 2022 Vol. 193 No. 1-3 P. 462–490

Добавлено: 28 октября 2022 г.

Application of the nested convex programming to the optimal power flow in MT-HVDC grids

Garces A., Azhmyakov V., IFAC-PapersOnLine 2020 Vol. 53 No. 2 P. 13173–13177

Добавлено: 30 октября 2021 г.

Inexact model: a framework for optimization and variational inequalities

Stonyakin F., Тюрин А. И., Гасников А. В. и др., Optimization Methods and Software 2021 Vol. 36 No. 6 P. 1155–1201

Добавлено: 29 октября 2021 г.

Decentralized and parallel primal and dual accelerated methods for stochastic convex programming problems

Dvinskikh D., Гасников А. В., Journal of Inverse and Ill-posed problems 2021 Vol. 29 No. 3 P. 385–405

Добавлено: 29 октября 2021 г.

Near-Optimal High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise

Горбунов Э. А., Danilova M., Шибаев И. А. и др., / Series arXiv:2106.05958 "arXiv:2106.05958". 2021.

Добавлено: 25 октября 2021 г.

Local SGD: Unified Theory and New Efficient Methods

Горбунов Э. А., Hanzely F., Richtarik P., , in: International Conference on Artificial Intelligence and Statistics, 13-15 April 2021, VirtualVol. 130.: PMLR, 2021. Ch. 130 P. 3556–3564.

Добавлено: 25 октября 2021 г.

Alternating minimization methods for strongly convex optimization

Тупица Н. К., Двуреченский П. Е., Гасников А. В. и др., Journal of Inverse and Ill-posed problems 2021 Vol. 29 No. 5 P. 721–739

Добавлено: 29 сентября 2021 г.