LoRA meets Riemannion: Muon Optimizer for Parametrization-independent Low-Rank Adapters

Vladimir Bogachev; V. Aletov; Alexander Molozhavenko; D. Bobkov; V. Soboleva; A. Alanov; M. Rakhuba

Публикации

?

LoRA meets Riemannion: Muon Optimizer for Parametrization-independent Low-Rank Adapters

Ch. 20503. P. 1–26.

Vladimir Bogachev, Алетов В., Alexander Molozhavenko, Бобков Д. Н., Соболева В. В., Аланов А., Рахуба М. В.

Язык: английский

Полный текст

Текст на другом сайте

Ключевые слова: Smooth manifold Riemannian optimization fine-tuning large language model (LLM)Diffusion Models Low-rank Adaption Fixed matrix rank manifold

В книге

The Fourteenth International Conference on Learning Representations (ICLR 2026)

ICLR, 2026.

FastWave: Optimized Diffusion Model for Audio Super-Resolution

Kuznetsov N., Каледин М. Л., , in: Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH 2026.: International Speech Communication Association, 2026. P. 4506–4510.

Добавлено: 6 октября 2026 г.

Bytedance и Open Source - открытые проекты от разработчика TikTok

Силаков Д. В., Системный администратор 2026 С. 84–89

Пользователи социальных сетей редко задумываются о том, что стоит за красивым фасадом с лентами активностей, пестрящими фотографиями и видеоисториями. Однако массовое увлечение подобными платформами порождает огромное количество всевозможного контента, который надо хранить, оперативно обрабатывать и отображать, а в эру ИИ — еще и активно помогать в его создании и адаптации. Неудивительно, что последние десятилетия разработчики ведущих социальных сетей стабильно являются поставщиками инфраструктурных программных продуктов, многие из которых распространяются ...

Добавлено: 28 сентября 2026 г.

FROM LECTURER TO CHATBOT: EVALUATING A HYBRID TEACHING MODEL

Filatova Asya, Didenko A., Ravedovskaya U., Journal of Teaching English for Specific and Academic Purposes 2025 Vol. 13 No. 3 P. 529–538

Добавлено: 18 сентября 2026 г.

OrthoFuse: Training-free Riemannian Fusion of Orthogonal Style-Concept Adapters for Diffusion Models

Ali Aliev, Гарифуллин К. З., Юдин Н. Е. и др., , in: 2026 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).: IEEE, 2026. P. 36009–36018.

Добавлено: 13 июля 2026 г.

GAS: Improving Discretization of Diffusion ODEs via Generalized Adversarial Solver

Оганов А. А., Быков И. В., Неудачина Е. К. и др., , in: The Fourteenth International Conference on Learning Representations (ICLR 2026).: ICLR, 2026. Ch. 18372.

Добавлено: 13 июля 2026 г.

Benchmarking DNA large language models on quadruplexes

Cherednichenko O., Herbert A., Попцова М. С., Computational and Structural Biotechnology Journal 2025 Vol. 27 P. 992–1000

Добавлено: 19 июня 2026 г.

Pre-trained LLMs Meet Sequential Recommenders: Efficient User-Centric Knowledge Distillation

Severin N., Kartushov D., Urzhumov V. и др., , in: Advances in Information Retrieval: 48th European Conference on Information Retrieval, ECIR 2026, Delft, The Netherlands, March 29 – April 2, 2026, Proceedings, Part II. (LNCS, volume 16484).: Cham: Springer Publishing Company, 2026. P. 508–517.

Добавлено: 18 июня 2026 г.

ESQA: Event Sequences Question Answering

Abdullaeva I., Karpukhin I., Filatov A. и др., IEEE Access 2026 Vol. 14 P. 59390–59408

Добавлено: 16 июня 2026 г.

Large Language Model-Based Automated Item Generation in STEM Assesements: Historical Mapping and a Scoping Review of Empirical Studies

Омопекунола М. О., JOURNAL OF EDUCATIONAL TECHNOLOGY DEVELOPMENT AND EXCHANGE 2026 Vol. 19 No. 2 P. 141–165

Добавлено: 5 мая 2026 г.

Bridging the Semantic Gap in Metadata Management using Large Language Models

Сулейкин А. С., Сорокина В., Пятецкий В. Е., , in: 2025 7th International Conference on Control Systems, Mathematical Modeling, Automation and Energy Efficiency.: [б.и.], 2025. P. 748–753.

Добавлено: 17 апреля 2026 г.

Разработка и интеграция AI-ассистента в систему управления обучением.

Караваева Е. А., Василевский В. И., Ланин Г. М. и др., Труды Института системного программирования РАН 2025 Т. 37 № 4 С. 175–190

Продолжающаяся цифровизация образования требует новых способов представления информации и механизмов удержания внимания. Цель представленной работы – предложить решение на основе большой языковой модели, которая будет интерактивно генерировать подсказки различных типов в рамках электронного учебного курса по программированию. Основными подходами являются анализ существующих относительно небольших языковых моделей, TOPSIS-анализ (методика определения порядка предпочтения по сходству с идеальным ...

Добавлено: 25 декабря 2025 г.

Optimization on the Extended Tensor-Train Manifold with Shared Factors

Alexander Molozhavenko, Рахуба М. В., Computational and Applied Mathematics 2026 Vol. 45 No. 6 Article 221

Добавлено: 22 декабря 2025 г.

Prediction of protein-protein interactions using point transformer and spherical Convex Hull graphs

David Arteaga, Попцова М. С., Computational and Structural Biotechnology Journal 2026 Vol. 31 P. 82–93

Добавлено: 22 декабря 2025 г.

3MDBench: Medical Multimodal Multi-agent Dialogue Benchmark

Sviridov I., Miftakhova A., Tereshchenko A. и др., , in: Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP).: Association for Computational Linguistics, 2025. Ch. 1353 P. 26625–26665.

Добавлено: 16 ноября 2025 г.

Comparative Study of LoRA and Full Fine-Tuning in Large Language Models

E.V. Surikova, E.A. Sabidaeva, , in: Параллельные вычислительные технологии – XIX всероссийская конференция с международным участием, ПаВТ'2025, г. Москва, 8–10 апреля 2025 г. Короткие статьи и описания плакатов.: Челябинск: Издательский центр ЮУрГУ, 2025. P. 90–98.

Добавлено: 3 июля 2025 г.

Подход к созданию сервиса генерации программного кода мобильных приложений с использованием больших языковых моделей

Резуник Л., Александров Д.В., ИТ-Стандарт 2024 № 4 С. 34–41

Технологии машинного обучения и различные инструменты для генерации кода в последние годы оказали значительное влияние на сферу разработки программного обеспечения. Хотя большинство существующих решений не созданы специально для генерации кода, программисты применяют их в различных задачах. Не многие из существующих решений для искусственного интеллекта хорошо работают с менее распространенными языками, такими как Kotlin или Swift, ...

Добавлено: 30 декабря 2024 г.

Wrong Answers Only: Distractor Generation for Russian Reading Comprehension Questions Using a Translated Dataset

Логин Н. В., Journal of Language and Education 2024 Vol. 10 No. 4 P. 56–70

Добавлено: 24 декабря 2024 г.

Using large language models for extracting and pre-annotating texts on mental health from noisy data in a low-resource language

Sergei Koltcov, Сурков А. Ю., Кольцова Е. Ю. и др., PeerJ Computer Science, США 2024 Vol. 10 Article e2395

Добавлено: 2 декабря 2024 г.