LoRA meets Riemannion: Muon Optimizer for Parametrization-independent Low-Rank Adapters

Vladimir Bogachev; V. Aletov; Alexander Molozhavenko; D. Bobkov; V. Soboleva; A. Alanov; M. Rakhuba

Публикации

?

LoRA meets Riemannion: Muon Optimizer for Parametrization-independent Low-Rank Adapters

Ch. 20503. P. 1–26.

Vladimir Bogachev, Алетов В., Alexander Molozhavenko, Бобков Д. Н., Соболева В. В., Аланов А., Рахуба М. В.

Язык: английский

Полный текст

Текст на другом сайте

Ключевые слова: Smooth manifold Riemannian optimization fine-tuning large language model (LLM)Diffusion Models Low-rank Adaption Fixed matrix rank manifold

В книге

The Fourteenth International Conference on Learning Representations (ICLR 2026)

ICLR, 2026.

OrthoFuse: Training-free Riemannian Fusion of Orthogonal Style-Concept Adapters for Diffusion Models

Ali Aliev, Гарифуллин К. З., Юдин Н. Е. и др., , in: 2026 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).: IEEE, 2026. P. 36009–36018.

Добавлено: 13 июля 2026 г.

GAS: Improving Discretization of Diffusion ODEs via Generalized Adversarial Solver

Оганов А. А., Быков И. В., Неудачина Е. К. и др., , in: The Fourteenth International Conference on Learning Representations (ICLR 2026).: ICLR, 2026. Ch. 18372.

Добавлено: 13 июля 2026 г.

Benchmarking DNA large language models on quadruplexes

Cherednichenko O., Herbert A., Попцова М. С., Computational and Structural Biotechnology Journal 2025 Vol. 27 P. 992–1000

Добавлено: 19 июня 2026 г.

Pre-trained LLMs Meet Sequential Recommenders: Efficient User-Centric Knowledge Distillation

Severin N., Kartushov D., Urzhumov V. и др., , in: Advances in Information Retrieval: 48th European Conference on Information Retrieval, ECIR 2026, Delft, The Netherlands, March 29 – April 2, 2026, Proceedings, Part II. (LNCS, volume 16484).: Cham: Springer Publishing Company, 2026. P. 508–517.

Добавлено: 18 июня 2026 г.

ESQA: Event Sequences Question Answering

Abdullaeva I., Karpukhin I., Filatov A. и др., IEEE Access 2026 Vol. 14 P. 59390–59408

Добавлено: 16 июня 2026 г.

Bridging the Semantic Gap in Metadata Management using Large Language Models

Сулейкин А. С., Сорокина В., Пятецкий В. Е., , in: 2025 7th International Conference on Control Systems, Mathematical Modeling, Automation and Energy Efficiency.: [б.и.], 2025. P. 748–753.

Добавлено: 17 апреля 2026 г.

Разработка и интеграция AI-ассистента в систему управления обучением.

Караваева Е. А., Василевский В. И., Ланин Г. М. и др., Труды Института системного программирования РАН 2025 Т. 37 № 4 С. 175–190

Продолжающаяся цифровизация образования требует новых способов представления информации и механизмов удержания внимания. Цель представленной работы – предложить решение на основе большой языковой модели, которая будет интерактивно генерировать подсказки различных типов в рамках электронного учебного курса по программированию. Основными подходами являются анализ существующих относительно небольших языковых моделей, TOPSIS-анализ (методика определения порядка предпочтения по сходству с идеальным ...

Добавлено: 25 декабря 2025 г.

Optimization on the Extended Tensor-Train Manifold with Shared Factors

Alexander Molozhavenko, Рахуба М. В., Computational and Applied Mathematics 2026 Vol. 45 No. 6 Article 221

Добавлено: 22 декабря 2025 г.

Prediction of protein-protein interactions using point transformer and spherical Convex Hull graphs

David Arteaga, Попцова М. С., Computational and Structural Biotechnology Journal 2026 Vol. 31 P. 82–93

Добавлено: 22 декабря 2025 г.

3MDBench: Medical Multimodal Multi-agent Dialogue Benchmark

Sviridov I., Miftakhova A., Tereshchenko A. и др., , in: Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP).: Association for Computational Linguistics, 2025. Ch. 1353 P. 26625–26665.

Добавлено: 16 ноября 2025 г.

Comparative Study of LoRA and Full Fine-Tuning in Large Language Models

E.V. Surikova, E.A. Sabidaeva, , in: Параллельные вычислительные технологии – XIX всероссийская конференция с международным участием, ПаВТ'2025, г. Москва, 8–10 апреля 2025 г. Короткие статьи и описания плакатов.: Челябинск: Издательский центр ЮУрГУ, 2025. P. 90–98.

Добавлено: 3 июля 2025 г.

Подход к созданию сервиса генерации программного кода мобильных приложений с использованием больших языковых моделей

Резуник Л., Александров Д.В., ИТ-Стандарт 2024 № 4 С. 34–41

Технологии машинного обучения и различные инструменты для генерации кода в последние годы оказали значительное влияние на сферу разработки программного обеспечения. Хотя большинство существующих решений не созданы специально для генерации кода, программисты применяют их в различных задачах. Не многие из существующих решений для искусственного интеллекта хорошо работают с менее распространенными языками, такими как Kotlin или Swift, ...

Добавлено: 30 декабря 2024 г.

Wrong Answers Only: Distractor Generation for Russian Reading Comprehension Questions Using a Translated Dataset

Логин Н. В., Journal of Language and Education 2024 Vol. 10 No. 4 P. 56–70

Добавлено: 24 декабря 2024 г.

Using large language models for extracting and pre-annotating texts on mental health from noisy data in a low-resource language

Sergei Koltcov, Сурков А. Ю., Кольцова Е. Ю. и др., PeerJ Computer Science, США 2024 Vol. 10 Article e2395

Добавлено: 2 декабря 2024 г.

Training a Tucker Model With Shared Factors: a Riemannian Optimization Approach

Пешехонов И. Д., Aleksey Arzhantsev, Рахуба М. В., , in: Proceedings of The 27th International Conference on Artificial Intelligence and Statistics (AISTATS 2024), 2-4 May 2024, Palau de Congressos, Valencia, Spain. PMLR: Volume 238Vol. 238.: Valencia: PMLR, 2024. Ch. 238 P. 3304–3312.

Добавлено: 29 ноября 2024 г.

Group and Shuffle: Efficient Structured Orthogonal Parametrization

Горбунов М. А., Юдин Н. Е., Соболева В. В. и др., , in: 38th Conference on Neural Information Processing Systems (NeurIPS 2024).: [б.и.], 2024. P. 68713–68739.

Добавлено: 26 ноября 2024 г.

EAI: Emotional Decision-Making of LLMs in Strategic Games and Ethical Dilemmas

Mozikov M., Severin N., Bodishtianu V. и др., , in: 38th Conference on Neural Information Processing Systems (NeurIPS 2024).: [б.и.], 2024. P. 13927–13981.

Добавлено: 22 ноября 2024 г.

Toolken+: Improving LLM Tool Usage with Reranking and a Reject Option

Яковлев К. Д., Nikolenko S., Bout A., , in: Findings of the Association for Computational Linguistics: EMNLP 2024.: Association for Computational Linguistics, 2024. P. 5967–5974.

Добавлено: 22 ноября 2024 г.

AIpom at SemEval-2024 Task 8: Detecting AI-produced Outputs in M4

Ширнин А. А., Andreev N., Mikhailov V. и др., , in: Proceedings of the 18th International Workshop on Semantic Evaluation (SemEval-2024).: Mexico: Association for Computational Linguistics, 2024. P. 1667–1672.

Добавлено: 19 июля 2024 г.

Сайнс-арт и китч: компьютерное искусство на основе больших языковых моделей

Миловидов С. В., Коммуникации. Медиа. Дизайн 2024 Т. 9 № 2 С. 45–64

Появление больших языковых моделей привело к распространению популярных сегодня графических генераторов (DALL-E, Midjourney, Stable Diffusion, Kandinsky и др.), что стало причиной повсеместного распространения и демократизации художественных практик, связанных с использованием нейронных сетей. В статье анализируются процессы исчезновения границ между искусством и китчем, применительно к компьютерному искусству. Рассматривается китчизация генеративной графики нейросетей и способы её преодоления ...

Добавлено: 1 июля 2024 г.