Comprehensive Weight Decomposition Analysis of Modern Parameter-Efficient Methods

A.V. Demidovskij; I.G. Salnikov; A.M. Tugaryov; A.I. Trutnev; Novikova I. A.

doi:10.3103/S1060992X24700796

Публикации

?

Comprehensive Weight Decomposition Analysis of Modern Parameter-Efficient Methods

Optical Memory and Neural Networks (Information Optics). 2024. Vol. 33. No. 3. P. S513–S522.

A.V. Demidovskij, I.G. Salnikov, A.M. Tugaryov, A.I. Trutnev, Novikova I. A.

Научное направление: Компьютерные науки

Язык: английский

Полный текст

DOI

Текст на другом сайте

Ключевые слова: fine-tuning acceleration parameter-efficient fine-tuning fine-tuning analysis

Разработка интерфейса виртуального ассистента преподавателя на основе технологий вызова функций и инженерии инструкций для больших языковых моделей

Фирсанова В. И., Человек: образ и сущность. Гуманитарные аспекты 2025 Vol. 2 No. 62 P. 203–214

Статья посвящена промпт-инжинирингу для снижения плагиата и повышения заинтересованности студентов. Было проведено интервью преподавателей, разработана первая коллекция пресетов для промпт-инжиниринга в академической среде, создан интерфейс виртуального ассистента. Качественный анализ результатов интервью показал, что сотрудники сферы образования скорее заинтересованы в применении больших языковых моделей при разработке форм контроля, адаптации учебного материала с целью предоставления доступности и ...

Добавлено: 9 сентября 2026 г.

Анализ согласованности голосования стран ЕАЭС и ОДКБ в ГА ООН с помощью иерархической кластеризации

Вохминцев И. В., Вестник международных организаций: образование, наука, новая экономика 2026 Т. 21 № 2

ЕАЭС и ОДКБ – главные региональные международные организации для России. Понимание, оценка и анализ внешнеполитических позиций стран, которые туда входят — это вопрос национальных интересов страны. Из этого вытекает цель работы: выявление уровня и формы согласованности голосования стран ЕАЭС и ОДКБ в ГА ООН. Уровень согласованности – оценка уровня близости стран при голосовании. Форма согласованности ...

Добавлено: 7 сентября 2026 г.

Pupillometry and autonomic nervous system responses to cognitive load and false feedback: an unsupervised machine learning approach

Alshanskaia E., Portnova G., Liaukovich K. и др., Frontiers in Neuroscience 2024 Vol. 18

Добавлено: 7 сентября 2026 г.

Oil Spill Segmentation in SAR Data Using ViT-UNet: Performance and Practical Insights

Зуенко Д. О., Трофимова Е. А., Хайдарова И., IEEE Access 2026 Vol. 14 P. 121339–121357

Добавлено: 7 сентября 2026 г.

Scalable machine learning approach to disordered s-wave superconductors

Неверов В. Д., Красавин А. В., Вагов А. В. и др., Physical Review B: Condensed Matter and Materials Physics 2026 Vol. 113 P. 1–6

Добавлено: 5 сентября 2026 г.

On the rate of Gaussian approximation for online linear regression problems

Шешукова М. Е., Durmus A., Khusainov M. и др., Statistics 2026 P. 1–25

Добавлено: 4 сентября 2026 г.

Proceedings of the 42nd Conference on Uncertainty in Artificial Intelligence (UAI), PMLR Volume 337, 17-21 August 2026, KIT, Amsterdam, the Netherlands

Proceedings of Machine Learning Research , 2026.

Добавлено: 4 сентября 2026 г.

A unified frequency-domain framework for tilted slice localization and ischemic stroke detection

Khodadoust J., Куликова С. П., Khodadoust F., Biomedical Signal Processing and Control 2027 Vol. 129 P. 111284–111284

Анализ острого ишемического инсульта (ОИИ) по двухмерным (2D) клиническим изображениям затруднен из-за неконтролируемого наклона срезов и геометрических несоответствий, нарушающих предположения моделей глубокого обучения (ГБО), не зависящих от положения. В данной статье предлагается унифицированная, учитывающая геометрию, частотно-доменная структура для локализации наклонных срезов и сегментации ишемического инсульта, которая явно разделяет оценку положения и анализ поражения. Метод сначала ...

Добавлено: 2 сентября 2026 г.

Proceedings of the 2026 Fourth International Conference on Distributed Computing and High Performance Computing (DCHPC)

IEEE, 2026.

Добавлено: 2 сентября 2026 г.

Discrete Markowitz Portfolio Optimization with Open-Source Classical and Quantum-Inspired Solvers: A Cross-Market Walk-Forward Study

Avdoshin S.M., Patrushev K. A., Proceedings of the Institute for System Programming of the RAS 2026 No. 4 часть 2 P. 245–256

Добавлено: 27 августа 2026 г.

Benchmarking Synolitic Graphs for Autism Classification from Multisite Resting-State fMRI

Заикин А. А., Власенко Д. В., Захаров Д. Г. и др., Diagnostics 2026 Vol. 16 No. 17 P. 1–15

Добавлено: 27 августа 2026 г.

Алгебра, теория чисел, дискретная геометрия и многомасштабное моделирование. Современные проблемы, приложения и проблемы истории. Материалы XXIV Международной конференции, посвящённой 110-летию со дня рождения академика Юрия Владимировича Линника и 110-летию со дня рождения профессора Андрея Борисовича Шидловского и 80-летию со дня рождения профессора Геннадия Ивановича Архипова

Тула: Тульский государственный педагогический университет им. Л.Н. Толстого, 2025.

Сборник содержит материалы, представленные на XXIV Международной конференции «Алгебра, теория чисел, дискретная геометрия и многомасштабное моделирование: современные проблемы, приложения и проблемы истории», посвящённой 110-летию со дня рождения академика Юрия Владимировича Линника и 110-летию со дня рождения профессора Андрея Борисовича Шидловского и 80-летию со дня рождения профессора Геннадия Ивановича Архипова. Материалы конференции будут полезны научным работникам, ...

Добавлено: 27 августа 2026 г.

Characterizing the Scheduling Performance of 5G NR Base Stations Under Signaling and Data Traffic Constraints

Eduard Sopin, Назарьин А. И., Бегишев В. О. и др., IEEE Transactions on Vehicular Technology 2026 Vol. 75 No. 6 P. 10995–11007

Добавлено: 26 августа 2026 г.

Генерация исходного кода с использованием больших языковых моделей: систематический обзор методологии Вайб-кодинг

Джонов А. Т., Авдошин С. М., Информационные технологии 2026 Т. 32 № 8 С. 421–427

В данном систематическом обзоре представлен анализ методологии Вайб-кодинг (Vibe Coding) — современно-го подхода к итеративному процессу разработки программного обеспечения с помощью больших языковых моделей (БЯМ). Инструменты генерации кода транформируют написание ПО, позволяя программисту формулировать задачи и описывать желаемое поведение кода на естественном языке, в то время как БЯМ генерирует соответ-ствующий запросам исходный код. Обзор систематиматизирует ...

Добавлено: 25 августа 2026 г.

An adaptive image watermarking scheme using cooperation of HBA and RSA metaheuristics

Мельман А. С., Евсютин О. О., Journal of the Franklin Institute 2026 Vol. 363 No. 15 Article 109005

Добавлено: 25 августа 2026 г.

Proceedings of the 2026 12th International Conference on Control, Decision and Information Technologies (CoDIT) (Italy, Bari, July 13–16, 2026)

IEEE, 2026.

Добавлено: 24 августа 2026 г.

From data to knowledge: artificial intelligence methods for studying comorbidity in electronic health records

Лукьяненко Д. В., Рагимова А. А., Мухорина А. и др., European Physical Journal: Special Topics 2026 P. 1–24

Добавлено: 20 августа 2026 г.

Proceedings of the Generative Code Intelligence Workshop (GeCoIn 2026), co-located with the 35th International Joint Conference on Artificial Intelligence (IJCAI-ECAI 2026)

CEUR-WS.org, 2026.

Добавлено: 20 августа 2026 г.

MM-PSYCHE: Multimodal Multitask Psychological Characteristic Estimation Through Cross-Domain Semi-Supervised Learning

Рюмина Е. В., Аксёнов А. А., Коряковская Д. О. и др., IEEE Access 2026 Vol. 14 P. 124759–124778

Добавлено: 20 августа 2026 г.

Hebb-Inspired Low Rank Adapters for Large Language Models Fine-Tuning

Alexander Demidovskij, Artyom Tugaryov, Igor Salnikov и др., , in: PRICAI 2025: Trends in Artificial Intelligence: 22nd Pacific Rim International Conference on Artificial Intelligence, PRICAI 2025, Wellington, New Zealand, November 17–21, 2025, Proceedings, Part IIIVol. 16453.: Springer, 2026. P. 603–612.

Добавлено: 21 апреля 2026 г.

Performance Study of Modern Zeroth-Order Optimization Methods for LLM Fine-Tuning

A. V. Demidovskij, A. I. Trutnev, Optical Memory and Neural Networks (Information Optics) 2025 Vol. 34 No. Suppl. 1 P. S16–S29

Добавлено: 22 декабря 2025 г.

On the Influence of Layer Importance on LLM Fine-Tuning Acceleration and Quality

Демидовский А. В., Irina Novikova, Artyom Tugaryov и др., , in: Frontiers in Artificial Intelligence and Applications: 28th European Conference on Artificial Intelligence, 25-30 October 2025, Bologna, ItalyVol. 413.: IOS Press Ebooks, 2025. P. 4233–4240.

Добавлено: 23 октября 2025 г.

Going Beyond LoRA Fine-Tuning with Hebb Learning: Blazingly Fast and Accurate

Демидовский А. В., Igor Salnikov, Olga Frolova и др., , in: Frontiers in Artificial Intelligence and Applications: 28th European Conference on Artificial Intelligence, 25-30 October 2025, Bologna, ItalyVol. 413.: IOS Press Ebooks, 2025. P. 2426–2433.

Добавлено: 23 октября 2025 г.

ALOE: Boosting Large Language Model Fine-Tuning with Aggressive Loss-Based Elimination of Samples

Демидовский А. В., Трутнев А. И., Тугарев А. М. и др., , in: Frontiers in Artificial Intelligence and Applications: 27th European Conference on Artificial Intelligence, 19–24 October 2024, Santiago de Compostela, SpainVol. 392.: IOS Press Ebooks, 2024. P. 3980–3986.

Добавлено: 5 ноября 2024 г.