Hebb-Inspired Low Rank Adapters for Large Language Models Fine-Tuning

Alexander Demidovskij; Artyom Tugaryov; Igor Salnikov; Olga Frolova; Aleksei Trutnev; Xie P.; Irina Novikova; Egor Zharikov; Vasilisa Blyudova; Ignatiev Y.

doi:10.1007/978-981-95-7078-2_39

?

Hebb-Inspired Low Rank Adapters for Large Language Models Fine-Tuning

P. 603–612.

Alexander Demidovskij, Artyom Tugaryov, Igor Salnikov, Olga Frolova, Aleksei Trutnev, Xie P., Irina Novikova, Egor Zharikov, Vasilisa Blyudova, Ignatiev Y.

Язык: английский

DOI

Ключевые слова: artificial neural networks artifical intelligence localized learning fine-tuning acceleration

В книге

PRICAI 2025: Trends in Artificial Intelligence: 22nd Pacific Rim International Conference on Artificial Intelligence, PRICAI 2025, Wellington, New Zealand, November 17–21, 2025, Proceedings, Part III

Vol. 16453. , Springer, 2026.

Springer, 2026.

Добавлено: 21 апреля 2026 г.

Semi-automatic annotation of brain vessels in magnetic resonance angiography images

Bernadotte A, Elfimov N., Menshikov I., Scientific data 2025 Vol. 13 No. 41

Добавлено: 25 февраля 2026 г.

Тесты как инструменты оценивания в вузах: трудности и решения

Антипкина И. В., Иванущенко А. В., Калабина И. А. и др., Мир психологии. Научно-методический журнал 2025 № 4(123) С. 295–316

Тестовые задания низкого качества создают риск ошибочного и несправедливого оценивания в высшем образовании. В исследовании описана аналитика банков тестовых заданий по нескольким предметам, используемых в одном из российских вузов. Аналитика проведена двумя способами: с помощью психометрических методов классической теории тестирования и с использованием нейросети Grok. Мы показали высокую частотность проблем в реальных банках вузовских тестовых ...

Добавлено: 22 января 2026 г.

Performance Study of Modern Zeroth-Order Optimization Methods for LLM Fine-Tuning

A. V. Demidovskij, A. I. Trutnev, Optical Memory and Neural Networks (Information Optics) 2025 Vol. 34 No. Suppl. 1 P. S16–S29

Добавлено: 22 декабря 2025 г.

On the Influence of Layer Importance on LLM Fine-Tuning Acceleration and Quality

Демидовский А. В., Irina Novikova, Artyom Tugaryov и др., , in: Frontiers in Artificial Intelligence and Applications: 28th European Conference on Artificial Intelligence, 25-30 October 2025, Bologna, ItalyVol. 413.: IOS Press Ebooks, 2025. P. 4233–4240.

Добавлено: 23 октября 2025 г.

Going Beyond LoRA Fine-Tuning with Hebb Learning: Blazingly Fast and Accurate

Демидовский А. В., Igor Salnikov, Olga Frolova и др., , in: Frontiers in Artificial Intelligence and Applications: 28th European Conference on Artificial Intelligence, 25-30 October 2025, Bologna, ItalyVol. 413.: IOS Press Ebooks, 2025. P. 2426–2433.

Добавлено: 23 октября 2025 г.

Формирование требований к технологическим параметрам серийного производства на основе нейросетевого подхода

Ясницкий Л. Н., Голдобин М. А., Прикладная информатика 2025 Т. 20 № 3(117) С. 85–100

В настоящее время нейросетевые методы и технологии довольно широко используются на производственных предприятиях для обнаружения, классификации, устранения и выявления причин возникновения брака, прогнозирования качества и свойств получаемых изделий, подбора оптимальных параметров производственно-технологических процессов, выявления и исследования их закономерностей. Однако остается не решенной важная задача определения таких диапазонов значений технологических параметров, при которых вероятность возникновения брака ...

Добавлено: 10 июля 2025 г.

Экономические и социальные аспекты атомной энергетики в условиях развития технологий искусственного интеллекта

Подчуфаров А. Ю., Галкина А. Н., Ванина С. С. и др., Экономика и управление: проблемы, решения 2025 Т. 5 № 4 С. 61–74

В современных условиях внедрение технологий искусственного интеллекта становится значимым фактором развития высокотехнологичных отраслей промышленности. В статье представлены результаты исследования перспектив применения интеллектуальных аналитических систем в атомной энергетике. Проанализирован опыт зарубежных стран и выявлены особенности успешных проектов с использованием искусственного интеллекта в данной области. Обоснованы рекомендации по развитию технических и социальных компетенций в отечественной атомной и ...

Добавлено: 5 июня 2025 г.

Comprehensive Weight Decomposition Analysis of Modern Parameter-Efficient Methods

A.V. Demidovskij, I.G. Salnikov, A.M. Tugaryov и др., Optical Memory and Neural Networks (Information Optics) 2024 Vol. 33 No. 3 P. S513–S522

Добавлено: 12 марта 2025 г.

Where Do Large Learning Rates Lead Us?

Садртдинов И. Р., Кодрян М. С., Pokonechny E. и др., , in: 38th Conference on Neural Information Processing Systems (NeurIPS 2024).: [б.и.], 2024. P. 58445–58479.

Добавлено: 19 февраля 2025 г.

International Arbitration and Mediation in Addressing Trans-Boundary Commercial Disputes: Singapore's Experience and Its Emerging Digital Dimension

Канаев Е. А., Southeast Asia: Actual Problems of Development 2024 Vol. 4 No. 4(65) P. 129–141

Добавлено: 28 января 2025 г.

Big Data Analytics Approach with Multiple Text Types: The Case of the Computer Gaming

Aleksandr Belov, Zakharov F., Litvinenko E. и др., , in: International IoT, Electronics and Mechatronics Conference, Volume 2. Proceedings of IEMTRONICS 2024. LNEE, volume 1228Vol. 1228.: Springer Publishing Company, 2025. P. 275–287.

Добавлено: 26 января 2025 г.

Artificial Neural Networks as a Natural Tool in Solution of Variational Problems in Hydrodynamics

Литвиненко Н. П., IEEE Access 2024

Добавлено: 9 декабря 2024 г.

ALOE: Boosting Large Language Model Fine-Tuning with Aggressive Loss-Based Elimination of Samples

Демидовский А. В., Трутнев А. И., Тугарев А. М. и др., , in: Frontiers in Artificial Intelligence and Applications: 27th European Conference on Artificial Intelligence, 19–24 October 2024, Santiago de Compostela, SpainVol. 392.: IOS Press Ebooks, 2024. P. 3980–3986.

Добавлено: 5 ноября 2024 г.

Frontiers in Artificial Intelligence and Applications: 27th European Conference on Artificial Intelligence, 19–24 October 2024, Santiago de Compostela, Spain

IOS Press Ebooks, 2024.

Добавлено: 5 ноября 2024 г.

The Complex Neural Network Model for Mass Appraisal and Scenario Forecasting of the Urban Real Estate Market Value That Adapts Itself to Space and Time

Leonid N. Yasnitsky, Yasnitsky V., Aleksander O. Alekseev, Complexity 2021 Vol. 2021 Article 5392170

Добавлено: 10 февраля 2024 г.

Моделирование рынков жилой недвижимости крупнейших городов России

Ясницкий Л. Н., Ясницкий В. Л., Алексеев А. О., Экономика региона 2022 Т. 18 № 2 С. 609–622

Существующие математические модели массовой оценки и прогнозирования рыночной стоимости жилых объектов обладают рядом недостатков: разработанные для какого-либо одного региона модели не годятся для других регионов. Все они быстро устаревают и требуют постоянной актуализации, поскольку не учитывают постоянно меняющуюся экономическую обстановку. Они не пригодны для оптимизации строительного бизнеса. Целью исследования является создание системы оценки недвижимости городов ...

Добавлено: 10 февраля 2024 г.

Data Preprocessing and Neural Network Architecture Selection Algorithms in Cases of Limited Training Sets—On an Example of Diagnosing Alzheimer’s Disease

Алексеев А. О., Kozhemyakin L., Nikitin V. и др., Algorithms 2023 Vol. 16 No. 5 Article 219

Добавлено: 10 февраля 2024 г.

Implementation Challenges and Strategies for Hebbian Learning in Convolutional Neural Networks

A. V. Demidovskij, M. S. Kazyulina, Salnikov I. G. и др., Optical Memory and Neural Networks (Information Optics) 2023 Vol. 32 P. S252–S264

Добавлено: 17 января 2024 г.

Neural Networks for Speech Synthesis of Voice Assistants and Singing Machines

Пантюхин Д. В., , in: Integral Robot Technologies and Speech Behavior.: Newcastle upon Tyne: Cambridge Scholars Publishing, 2024. Ch. 9 P. 281–296.

Добавлено: 10 декабря 2023 г.

Selected Papers from the XXV International Conference on Neuroinformatics, October 23-27, 2023, Moscow, Russia. Advances in Neural Computation, Machine Learning, and Cognitive Research VII (NEUROINFORMATICS 2023)

Frankfurt: Springer, 2023.

Добавлено: 1 ноября 2023 г.