Novel Activation Sparsification Approach for Large Language Models

A.V. Demidovskij; Burmistrova E. O.; E.I. Zharikov

doi:10.3103/S1060992X25601794

Публикации

?

Novel Activation Sparsification Approach for Large Language Models

Optical Memory and Neural Networks (Information Optics). 2025. Vol. 34. P. S166–S174.

A.V. Demidovskij, Burmistrova E. O., E.I. Zharikov

Научное направление: Компьютерные науки

Язык: английский

DOI

Текст на другом сайте

Ключевые слова: neural networks sparsification Large Language Models (LLM)

RuCLEVR: A Russian Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning

Biryukova K., Chelnokova D., Erkenova J. и др., , in: Analysis of Images, Social Networks and Texts. AIST 2024Issue 2364.: Springer Nature Switzerland, Cham, 2024. P. 109–121.

Добавлено: 14 июня 2026 г.

Proceedings of the 19th Conference of the European Chapter of the Association for Computational Linguistics (Volume 1: Long Papers)

Association for Computational Linguistics, 2026.

Добавлено: 14 июня 2026 г.

From Standard Transformers to Modern LLMs: Bringing Dialogue Models, RAG, and Agents to the Classroom.

Тихонова М. И., Chekalina V., Chervyakov A. и др., , in: Proceedings of the Seventh Workshop on Teaching Natural Language Processing (TeachNLP 2026).: Association for Computational Linguistics, 2026. P. 41–44.

Добавлено: 13 июня 2026 г.

Long Context Benchmark for the Russian Language

Churin I., Apishev M., Тихонова М. И. и др., , in: Proceedings of the 6th Workshop on Computational Approaches to Discourse, Context and Document-Level Inferences (CODI 2025).: Suzhou: Association for Computational Linguistics, 2025. P. 1–13.

Добавлено: 11 июня 2026 г.

Proceedings of the 6th Workshop on Computational Approaches to Discourse, Context and Document-Level Inferences (CODI 2025)

Strube M., Braud C., Hardmeier C. и др., Suzhou: Association for Computational Linguistics, 2025.

Добавлено: 11 июня 2026 г.

TreeDQN: Sample-efficient off-policy reinforcement learning for combinatorial optimization

Sorokin D., Kostin A., Савченко Л. В. и др., Knowledge-Based Systems 2026 Vol. 348 Article 116258

Добавлено: 10 июня 2026 г.

Microbial diversity and production of milk spirit using traditional Buryat fermentation and distillation technologies

Namsaraev Z., Nanzatov B., Козлова А. Д. и др., Scientific Reports 2026 Vol. 16 No. 1 Article 17769

Дистиллированные кисломолочные напитки встречаются в пищевой промышленности редко, несмотря на повсеместное распространение растительных спиртных напитков. В настоящее время производство крепких дистиллированных алкогольных напитков из кисломолочных продуктов с использованием традиционных технологий известно лишь среди монголоязычных народов и их сибирских соседей. Данное исследование представляет собой первый междисциплинарный анализ дарасуна, традиционного бурятского спиртного напитка, изготавливаемого из кисломолочного напитка ...

Добавлено: 10 июня 2026 г.

Artificial intelligence and digital twins for failure prediction in data center cooling systems: a comprehensive literature review (2018–2026)

Butorova A., Bobakov V., Sergeev A. и др., European Physical Journal: Special Topics 2026 P. 1–19

Добавлено: 10 июня 2026 г.

Innovations in Information and Decision Sciences. Proceedings of the 13th International Conference on Frontiers in Intelligent Computing: Theory and Applications (FICTA 2025), Volume 4

Springer, 2026.

Добавлено: 8 июня 2026 г.

Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

Seul: PMLR, 2026.

Добавлено: 4 июня 2026 г.

OpenAtom Foundation. Консорциум, развивающий Open Source в Китае.

Силаков Д. В., Системный администратор 2026 № 3 С. 28–33

В статье про платформы для разработки открытого ПО в Китае мы рассказали про GitCode – молодой проект, позиционируемый как площадка для разработчиков со всего мира. Сейчас на GitCode размещаются проекты, созданные в КНР, но некоторые из них уже известны и на международной арене. Помочь открытым проектам в становлении, развитии и расширению аудитории призван фонд OpenAtom ...

Добавлено: 2 июня 2026 г.

The recognition-by-components method

Slivnitsin P., Мыльников Л. А., Engineering Applications of Artificial Intelligence 2026 Vol. 179 Article 115185

Добавлено: 29 мая 2026 г.

Brain-Computer Interfaces for Gait Rehabilitation After Stroke A Scoping Review

Мокиенко О. А., Zisman M. A., Бобров П. Д. и др., American Journal of Physical Medicine and Rehabilitation 2026 Vol. 105 No. 6 P. 555–563

Добавлено: 28 мая 2026 г.

Generalizing the Brady-Yong Algorithm: Efficient Fast Hough Transform for Arbitrary Image Sizes

Kazimirov D., Rybakova E., Vitalii V. Gulevskii и др., IEEE Access 2025 Vol. 13 P. 20101–20132

Добавлено: 28 мая 2026 г.

Natural hazard database from Internet publications: text mining with a large language model

Деркачева А. А., Сакиркина М. А., Краев Г. Н. и др., /. 2026.

Добавлено: 28 апреля 2026 г.

Performance Study of Modern Zeroth-Order Optimization Methods for LLM Fine-Tuning

A. V. Demidovskij, A. I. Trutnev, Optical Memory and Neural Networks (Information Optics) 2025 Vol. 34 No. Suppl. 1 P. S16–S29

Добавлено: 22 декабря 2025 г.

Искусственный интеллект как симулякр смысла

Малинов С. А., Галактика медиа: журнал медиа исследований 2025 Т. 7 № 4 С. 154–173

В последние годы искусственный интеллект (ИИ) активно внедряется в повседневную жизнь человека. Его популярность неуклонно растёт, а компании всё чаще используют ИИ для оптимизации и ускорения рабочих процессов. Повседневные пользователи применяют большие языковые модели (Large Language Models, LLM) и мультимодальные ИИ-системы для решения широкого круга задач: генерации текстов, изображений и видео, планирования дня, поиска информации ...

Добавлено: 7 декабря 2025 г.

Transformers and State-Space Models: Fine-Tuning Techniques for Solving Differential Equations

Игнатенко В. В., Сурков А. Ю., Zakharov V. и др., Sci 2025 Vol. 7 No. 3 Article 130

Добавлено: 10 октября 2025 г.

ProcrustesGPT: Compressing LLMs with Structured Matrices and Orthogonal Transformations

Гришина Е. Р., Горбунов М. А., Рахуба М. В., , in: Findings of the Association for Computational Linguistics: ACL 2025.: Association for Computational Linguistics, 2025. P. 26937–26949.

Добавлено: 4 сентября 2025 г.

AGDES: a Python package and an approach to generating synthetic data for differential equation solving with LLMs

Vladimir Zakharov, Anton Surkov, Sergei Koltcov, Procedia Computer Science 2025 Vol. 258 P. 1169–1178

Добавлено: 21 августа 2025 г.

Comparative Analysis of Encoder-Based NER and Large Language Models for Skill Extraction from Russian Job Vacancies

Маткин Н. А., Смирнов А. О., Усанин М. А. и др., , in: 12th International Conference, AIST 2024, Bishkek, Kyrgyzstan, October 17–19, 2024, Revised Selected Papers.: Cham: Springer, 2025.

The labor market is undergoing rapid changes, with increasing demands on job seekers and a surge in job openings. Identifying essential skills and competencies from job descriptions is challenging due to varying employer requirements and the omission of key skills. This study addresses these challenges by comparing traditional Named Entity Recognition (NER) methods based on ...

Добавлено: 26 июля 2025 г.

Bayesian Compression for Natural Language Processing

Чиркова Н. А., Лобачева Е. М., Ветров Д. П., , in: Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing.: Association for Computational Linguistics, 2018. P. 2910–2915.

Добавлено: 5 сентября 2018 г.