Comprehensive Weight Decomposition Analysis of Modern Parameter-Efficient Methods

A.V. Demidovskij; I.G. Salnikov; A.M. Tugaryov; A.I. Trutnev; Novikova I. A.

doi:10.3103/S1060992X24700796

Публикации

?

Comprehensive Weight Decomposition Analysis of Modern Parameter-Efficient Methods

Optical Memory and Neural Networks (Information Optics). 2024. Vol. 33. No. 3. P. S513–S522.

A.V. Demidovskij, I.G. Salnikov, A.M. Tugaryov, A.I. Trutnev, Novikova I. A.

Научное направление: Компьютерные науки

Язык: английский

Полный текст

DOI

Текст на другом сайте

Ключевые слова: fine-tuning acceleration parameter-efficient fine-tuning fine-tuning analysis

Графовые паттерны в несогласованных декларативных моделях процессов

Анненков А. Н., Нестеров Р. А., Моделирование и анализ информационных систем 2026 Т. 33 № 2 С. 176–205

Декларативные модели процессов широко используются в process mining для гибкого описания поведения процессов с помощью наборов ограничений. Однако модели, автоматически извлекаемые из журналов событий, могут содержать несогласованные ограничения, что затрудняет их интерпретацию и делает их непригодными для исполнения, проверки соответствия или дальнейшего анализа. Существующие методы анализа согласованности либо опираются на автоматные конструкции с высокой асимптотической сложностью ...

Добавлено: 18 июня 2026 г.

Advances in Information Retrieval: 48th European Conference on Information Retrieval, ECIR 2026, Delft, The Netherlands, March 29 – April 2, 2026, Proceedings, Part II

Cham: Springer Publishing Company, 2026.

Добавлено: 18 июня 2026 г.

Искусственный интеллект как роза научной деятельности: исследование Тимоти Гауэрса

Поддьяков А. Н., Троицкий вариант. Наука 2026 № 12 С. 24–25

В научно-популярной заметке представлен обзор содержания поста филдсовского медалиста Тимоти Гауэрса о возможностях ИИ в математике и содержания комментариев под постом. Обзор сделан в основном чат-ботом DeepSeek. В заключение обсуждается возможность не только решения задач искусственным интеллектом, но и их постановки. ...

Добавлено: 18 июня 2026 г.

Exploring New Frontiers in Vertical Federated Learning: the Role of Saddle Point Reformulation

Beznosikov A., Kormakov G., Grigorievskiy A. и др., Journal of Optimization Theory and Applications 2026 Vol. 209 Article 18

Добавлено: 17 июня 2026 г.

Supervised Learning in Critical Phenomena—Statistical and Systematic Accuracy

Chertenkov V. I., Щур Л. Н., Lobachevskii Journal of Mathematics 2026 Vol. 47 No. 2 P. 720–727

Добавлено: 16 июня 2026 г.

Enhancing Emotion Recognition in Speech Based on Self-Supervised Learning: Cross-Attention Fusion of Acoustic and Semantic Features

Deeb B., Andrey V. Savchenko, Макаров И. А., IEEE Access 2026 Vol. 13 P. 56283–56295

Добавлено: 16 июня 2026 г.

Automated detection of wolf howls using audio spectrogram transformers

Makarov N., Савченко А. В., Zemtsova I. и др., Scientific Reports 2025 Vol. 15 Article 26641

Добавлено: 16 июня 2026 г.

Artificial intelligence framework for multi-pathology risk assessment from retinal fundus images: deep learning approach to 15-disease screening

Vasilev R., Савченко А. В., Blinov P. и др., Frontiers in Medicine 2026 Vol. 13

Добавлено: 16 июня 2026 г.

From Data to Signs: A Foundation Model for Multilingual Sign Language Recognition

Novopoltsev M., Tulenkov A., Murtazin R. и др., IEEE Access 2025 Vol. 13 P. 188170–188181

Добавлено: 16 июня 2026 г.

B3Emo: Quantifying Affect as a Double-Edged Sword in Strategic LLM Interactions

Stepin A., Mozikov M., Kabanov A. и др., IEEE Access 2026 Vol. 14 P. 48127–48144

Добавлено: 16 июня 2026 г.

ESQA: Event Sequences Question Answering

Abdullaeva I., Karpukhin I., Filatov A. и др., IEEE Access 2026 Vol. 14 P. 59390–59408

Добавлено: 16 июня 2026 г.

Proceedings of the 19th Conference of the European Chapter of the Association for Computational Linguistics (Volume 1: Long Papers)

Association for Computational Linguistics, 2026.

Добавлено: 14 июня 2026 г.

Proceedings of the 6th Workshop on Computational Approaches to Discourse, Context and Document-Level Inferences (CODI 2025)

Strube M., Braud C., Hardmeier C. и др., Suzhou: Association for Computational Linguistics, 2025.

Добавлено: 11 июня 2026 г.

TreeDQN: Sample-efficient off-policy reinforcement learning for combinatorial optimization

Sorokin D., Kostin A., Савченко Л. В. и др., Knowledge-Based Systems 2026 Vol. 348 Article 116258

Добавлено: 10 июня 2026 г.

Microbial diversity and production of milk spirit using traditional Buryat fermentation and distillation technologies

Namsaraev Z., Nanzatov B., Козлова А. Д. и др., Scientific Reports 2026 Vol. 16 No. 1 Article 17769

Дистиллированные кисломолочные напитки встречаются в пищевой промышленности редко, несмотря на повсеместное распространение растительных спиртных напитков. В настоящее время производство крепких дистиллированных алкогольных напитков из кисломолочных продуктов с использованием традиционных технологий известно лишь среди монголоязычных народов и их сибирских соседей. Данное исследование представляет собой первый междисциплинарный анализ дарасуна, традиционного бурятского спиртного напитка, изготавливаемого из кисломолочного напитка ...

Добавлено: 10 июня 2026 г.

Artificial intelligence and digital twins for failure prediction in data center cooling systems: a comprehensive literature review (2018–2026)

Butorova A., Bobakov V., Sergeev A. и др., European Physical Journal: Special Topics 2026 P. 1–19

Добавлено: 10 июня 2026 г.

Innovations in Information and Decision Sciences. Proceedings of the 13th International Conference on Frontiers in Intelligent Computing: Theory and Applications (FICTA 2025), Volume 4

Springer, 2026.

Добавлено: 8 июня 2026 г.

Hebb-Inspired Low Rank Adapters for Large Language Models Fine-Tuning

Alexander Demidovskij, Artyom Tugaryov, Igor Salnikov и др., , in: PRICAI 2025: Trends in Artificial Intelligence: 22nd Pacific Rim International Conference on Artificial Intelligence, PRICAI 2025, Wellington, New Zealand, November 17–21, 2025, Proceedings, Part IIIVol. 16453.: Springer, 2026. P. 603–612.

Добавлено: 21 апреля 2026 г.

Performance Study of Modern Zeroth-Order Optimization Methods for LLM Fine-Tuning

A. V. Demidovskij, A. I. Trutnev, Optical Memory and Neural Networks (Information Optics) 2025 Vol. 34 No. Suppl. 1 P. S16–S29

Добавлено: 22 декабря 2025 г.

On the Influence of Layer Importance on LLM Fine-Tuning Acceleration and Quality

Демидовский А. В., Irina Novikova, Artyom Tugaryov и др., , in: Frontiers in Artificial Intelligence and Applications: 28th European Conference on Artificial Intelligence, 25-30 October 2025, Bologna, ItalyVol. 413.: IOS Press Ebooks, 2025. P. 4233–4240.

Добавлено: 23 октября 2025 г.

Going Beyond LoRA Fine-Tuning with Hebb Learning: Blazingly Fast and Accurate

Демидовский А. В., Igor Salnikov, Olga Frolova и др., , in: Frontiers in Artificial Intelligence and Applications: 28th European Conference on Artificial Intelligence, 25-30 October 2025, Bologna, ItalyVol. 413.: IOS Press Ebooks, 2025. P. 2426–2433.

Добавлено: 23 октября 2025 г.

ALOE: Boosting Large Language Model Fine-Tuning with Aggressive Loss-Based Elimination of Samples

Демидовский А. В., Трутнев А. И., Тугарев А. М. и др., , in: Frontiers in Artificial Intelligence and Applications: 27th European Conference on Artificial Intelligence, 19–24 October 2024, Santiago de Compostela, SpainVol. 392.: IOS Press Ebooks, 2024. P. 3980–3986.

Добавлено: 5 ноября 2024 г.