A Superlinearly-Convergent Proximal Newton-Type Method for the Optimization of Finite Sums

?

A Superlinearly-Convergent Proximal Newton-Type Method for the Optimization of Finite Sums

Journal of Machine Learning Research. 2016. Vol. 48. P. 2597–2605.

Родоманов А. О., Kropotov D.

We consider the problem of optimizing the strongly convex sum of a finite number of convex functions. Standard algorithms for solving this problem in the class of incremental/stochastic methods have at most a linear convergence rate. We propose a new incremental method whose convergence rate is superlinear – the Newton-type incremental method (NIM). The idea of the method is to introduce a model of the objective with the same sum-of-functions structure and further update a single component of the model per iteration. We prove that NIM has a superlinear local convergence rate and linear global convergence rate. Experiments show that the method is very effective for problems with a large number of functions and a small number of variables.

Научное направление: Математика

Приоритетные направления: компьютерно-математическое

Язык: английский

Полный текст

Текст на другом сайте

Graph Games and Logic Design

Springer, 2026.

Добавлено: 30 июня 2026 г.

On Ω-stable 3-diffeomorphism with a solid or thickened surfaced basic set

Починка О. В., Баринова М. К., Journal of Geometry and Physics 2026 Vol. 228 P. 1–8

Добавлено: 30 июня 2026 г.

Почти пустые симплексы и полиэдры Клейна

Герман О. Н., Илларионов А. А., Известия РАН. Серия математическая 2026 Т. 90 № 3 С. 3–18

Пусть симплекс с целочисленными вершинами - содержащий ровно одну целочисленную точку, отличную от своих вершин. В работе доказывается, что если точка находится во внутренности симплекса или в относительной внутренности некоторой гиперграни симплекса, то объем симплекса ограничен величиной, зависящей только от размерности, в противном случае объем симплекса может быть сколь угодно большим. Этот результат применяется для вывода асимптотической формулы для среднего числа вершин полиэдров ...

Добавлено: 29 июня 2026 г.

Generalized Hurst Hypothesis: Description of Time-Series in Communication Systems

Ивченко А. В., Nigmatullin R. R., Dorokhin S. V., Mathematics 2021 Vol. 9 No. 4 Article 381

В данной работе мы сосредоточимся на обобщении эмпирического закона Херста и предложим набор редуцированных параметров для количественного описания длительных временных рядов. Эти ряды обычно рассматриваются как специфический отклик сложной системы (экономической, геофизической, электромагнитной и других), где последовательная фиксация внешних факторов становится невозможной. Мы рассматриваем применение обобщенных законов Херста для получения нового набора редуцированных параметров в ...

Добавлено: 27 июня 2026 г.

Indicators of cosmonaut locomotor functions stability: A new method for ground-reaction forces analysis

Ивченко А. В., Shestoperov A. I., Fomina E. V., Microgravity Science and Technology 2025 Vol. 37 No. 19 P. 1–19

Данная работа посвящена анализу медико-биологических данных, полученных в ходе локомоторных тестов космонавтов. Точная интерпретация данных играет решающую роль в мониторинге системы передвижения, профилактике негативных последствий длительного космического полета и, следовательно, в разработке автономной системы медицинского обеспечения для экспедиций в дальний космос. Во время локомоторных тестов космонавт меняет режимы движения в соответствии с предписанным протоколом тренировки, ...

Добавлено: 26 июня 2026 г.

Платформа, управляемая событиями, для интеграции компонентов машинного зрения с операционным центром.

Гаджимирзаев Ш. М., Хельвас А. В., 2023 3rd International Conference on Innovative Research in Applied Science, Engineering and Technology (IRASET) Mohammedia, Morocco 2023 P. 1–6

В статье предлагается архитектура событийно-управляемого Центра экстренного реагирования с компонентом компьютерного зрения. Анализируются источники информации и обсуждаются подходы к использованию событий компьютерного зрения для обнаружения и оценки тактических ситуаций. Сообщения от компонентов компьютерного зрения преобразуются в Протокол общих оповещений (Common Alerting Protocol) и обрабатываются средой Центра управления для распознавания тактических ситуаций. ...

Добавлено: 26 июня 2026 г.

Подход к оценке динамики уровня консолидированности отрасли

Гаджимирзаев Ш. М., Хельвас А. В., Лукьянченко П. П., Computer Research and Modeling 2023 Vol. 15 No. 1 P. 129–140

В данной статье нами предложен новый подход к анализу эконометрических параметров отрасли для уровня консолидированности отрасли. Исследование базируется на простой модели управления отраслью в соответствии с моделью из теории автоматического управления. Состояние отрасли оценивается на основе ежеквартальных эконометрических параметров получаемых в обезличенном виде от каждой компании отрасли через налогового регулятора. Предложен подход к анализу отрасли, ...

Добавлено: 26 июня 2026 г.

Цифровой двойник полностью автоматизированного склада с глубокими стеллажами

Гаджимирзаев Ш. М., Хельвас А. В., International Frequency Sensor Association (IFSA) Publishing, 19-21 February 2025 Granada, Spain 2025 P. 172–176

В статье представлены модели инновационного полностью роботизированного склада для хранения коробочных товаров. Была реализована дискретная многоагентная симуляция движения челноков на складе для заданной последовательности паллетных отгрузок. Оцениваются различные стратегии размещения коробок в разных зонах склада, а также оптимальные схемы маршрутизации челноков для заданной топологии склада. Также оценивается оптимальное количество челноков, максимизирующее производительность склада. ...

Добавлено: 26 июня 2026 г.

On Projective Threefolds with Two-Dimensional Space of Vanishing Cycles

Fedorov Timofey, Moscow Mathematical Journal 2026 Vol. 26 No. 1 P. 73–85

Добавлено: 25 июня 2026 г.

Современные методы теории краевых задач. Понтрягинские чтения XXXVII.

Воронеж: Издательский дом ВГУ, 2026.

В сборнике представлены материалы докладов и лекций, включенных в программу весенней математической школы. ...

Добавлено: 25 июня 2026 г.

Growth in noncommutative algebras and entropy in derived categories

Пионтковский Д. И., / Series arXiv "math". 2026.

Добавлено: 23 июня 2026 г.

Multilinear nilalgebras and the Jacobian theorem

Пионтковский Д. И., / Series arXiv "math". 2025.

Добавлено: 23 июня 2026 г.

ML-based Fast Simulation of FARICH Responses

Шипилов Ф. А., Barnyakov A., Ivanov A. и др., / Series Physics "arxiv.org". 2026.

Добавлено: 19 мая 2026 г.

Natural hazard database from Internet publications: text mining with a large language model

Деркачева А. А., Сакиркина М. А., Краев Г. Н. и др., /. 2026.

Добавлено: 28 апреля 2026 г.

Algorithmic overlaps as thermodynamic variables: from local to cluster Monte Carlo dynamics in critical phenomena

Пиле Я. Э., Deng Y., Щур Л. Н., / Series arXiv "math". 2026. No. 2604.10254.

Добавлено: 20 апреля 2026 г.

Using predefined vector systems to speed up neural network multimillion class classification

Gabdullin N., Андросов И. А., / Series Computer Science "arxiv.org". 2026.

Добавлено: 2 апреля 2026 г.

Iterative Ricci-Foster Curvature Flow with GMM-Based Edge Pruning: A Novel Approach to Community Detection

Сорокин К. С., Бекетов М. Е., Онучин А. и др., / arxiv.org. Серия cs.SI "Social and Information Networks ". 2025.

Обнаружение сообществ в сложных сетях — фундаментальная проблема, открытая для новых подходов в различных научных областях. Мы представляем новый метод обнаружения сообществ, основанный на потоке Риччи на графах. Наша техника итеративно обновляет веса ребер (их метрические длины) в соответствии с их (комбинаторной) версией кривизны Риччи Фостера, вычисленной на основе эффективного расстояния сопротивления между узлами. Известно, ...

Добавлено: 15 января 2026 г.

Implementing Transport Coding in OMNeT++ for Message Delay Reduction

Петрованов И. С., Сергеев А. В., / Series Computer Science "arxiv.org". 2025. No. 2512.18332.

Добавлено: 24 декабря 2025 г.

Hessian-based lightweight neural network for brain vessel segmentation on a minimal training dataset

Меньшиков И. А., Бернадотт А. К., Елфимов Н. С., / Series arXie "Statistical mechanics". 2025.

Добавлено: 1 декабря 2025 г.

Эффективный алгоритм торговли на фондовом рынке: ретроспективный анализ, основанный на данных по S&P-500.

Рубчинский А. А., Чубарова Д. А., / Series WP7 "Математические методы анализа решений в экономике, бизнесе и политике". 2025. No. WP7/2025/01.

Добавлено: 9 ноября 2025 г.

Gradient-free methods for non-smooth convex stochastic optimization with heavy-tailed noise on convex compact

Kornilov N., Гасников А. В., Двуреченский П. Е. и др., Computational Management Science 2023 Article 37

Добавлено: 7 февраля 2025 г.

Vaidya’s method for convex stochastic optimization problems in small dimension

Гладин Е. Л., Гасников А. В., Ermakova E., Mathematical notes 2022 Vol. 112 No. 1 P. 183–190

Добавлено: 29 ноября 2024 г.

Метод эллипсоидов для задач выпуклой стохастической оптимизации малой размерности

Гладин Е. Л., Зайнуллина К. Э., Компьютерные исследования и моделирование 2021 Т. 13 № 6 С. 1137–1147

В статье рассматривается задача минимизации математического ожидания выпуклой функции. Задачи такого вида повсеместны в машинном обучении, а также часто возникают в ряде других приложений. На практике для их решения обычно используются процедуры типа стохастического градиентного спуска (SGD). В нашей работе предлагается решать такие задачи с использованием метода эллипсоидов с мини-батчингом. Алгоритм имеет линейную скорость сходимости ...

Добавлено: 29 ноября 2024 г.

Optimization in complex spaces with the mixed Newton method

Bakhurin S., Hildebrand R., Alkousa M. и др., Journal of Global Optimization 2024 Vol. 90 P. 373–399

Добавлено: 27 ноября 2024 г.