• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • A
  • A
  • A
  • A
  • A
Обычная версия сайта
  • RU
  • EN
  • Национальный исследовательский университет «Высшая школа экономики»
  • Публикации ВШЭ
  • Глава
  • ProcrustesGPT: Compressing LLMs with Structured Matrices and Orthogonal Transformations
  • RU
  • EN
Расширенный поиск
Высшая школа экономики
Национальный исследовательский университет
Приоритетные направления
  • бизнес-информатика
  • государственное и муниципальное управление
  • гуманитарные науки
  • инженерные науки
  • компьютерно-математическое
  • математика
  • менеджмент
  • право
  • социология
  • экономика
по году
  • 2028
  • 2027
  • 2026
  • 2025
  • 2024
  • 2023
  • 2022
  • 2021
  • 2020
  • 2019
  • 2018
  • 2017
  • 2016
  • 2015
  • 2014
  • 2013
  • 2012
  • 2011
  • 2010
  • 2009
  • 2008
  • 2007
  • 2006
  • 2005
  • 2004
  • 2003
  • 2002
  • 2001
  • 2000
  • 1999
  • 1998
  • 1997
  • 1996
  • 1995
  • 1994
  • 1993
  • 1992
  • 1991
  • 1990
  • 1989
  • 1988
  • 1987
  • 1986
  • 1985
  • 1984
  • 1983
  • 1982
  • 1981
  • 1980
  • 1979
  • 1978
  • 1977
  • 1976
  • 1975
  • 1974
  • 1973
  • 1972
  • 1971
  • 1970
  • 1969
  • 1968
  • 1967
  • 1966
  • 1965
  • 1964
  • 1963
  • 1958
  • еще
Тематика
Новости
18 сентября 2026 г.
«Время на содержательные вопросы у нас не лимитировалось»
Международная лаборатория атомистического суперкомпьютерного моделирования и многомасштабного анализа НИУ ВШЭ провела масштабную конференцию «Молекулярная динамика». Участники могли услышать всех докладчиков, а сами докладчики — ответить на любое количество содержательных вопросов. О подготовке конференции и дискуссиях «Вышка.Главное» поговорила с заведующим лабораторией Григорием Смирновым и ее главным научным сотрудником Генри Норманом.
18 сентября 2026 г.
Ученые ВШЭ займутся изучением очарованных адронов в рамках BESIII
Высшая школа экономики стала университетом — участником международной коллаборации BESIII (Beijing Spectrometer III) в области физики высоких энергий. Присоединение к коллаборации стало первым практическим результатом реализации меморандума о сотрудничестве, подписанного в 2025 году между НИУ ВШЭ и Институтом физики высоких энергий (IHEP) в Пекине (КНР).
17 сентября 2026 г.
<a>НИУ ВШЭ представил в Китае исследование о безопасности нейросетей для анализа видео
Ученые Высшей школы экономики презентавали на международной конференции ChinaMM 2026 в Китае исследование о том, как искажения при передаче видео влияют на работу нейросетей. Авторы предложили новый способ проверять устойчивость таких моделей в условиях, близких к реальному использованию видеосервисов.

 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!

Публикации
  • Книги
  • Статьи
  • Главы в книгах
  • Препринты
  • Верификация публикаций
  • Расширенный поиск
  • Правила использования материалов
  • Наука в ВШЭ

?

ProcrustesGPT: Compressing LLMs with Structured Matrices and Orthogonal Transformations

P. 26937–26949.
Гришина Е. Р., Горбунов М. А., Рахуба М. В.
Язык: английский
Полный текст
DOI
Текст на другом сайте
Ключевые слова: matrix factorizationsneural network compressionLarge Language Models (LLM)
ПУБЛИКАЦИЯ ПОДГОТОВЛЕНА ПО РЕЗУЛЬТАТАМ ПРОЕКТА:
Разработка теоретических основ и методов генеративного искусственного интеллекта и их приложение к неоднородным доменным областям (2025)

В книге

Findings of the Association for Computational Linguistics: ACL 2025
Association for Computational Linguistics, 2025.
Похожие публикации
Comparing Large Language Models for Aspect-Based Sentiment Analysis of Student Experience from Russian-Language Online Course Reviews
Kalicheva V., Кирина М. А., , in: Speech and Computer. 28th International Conference, SPECOM 2026, Ohrid, North Macedonia, September 17–18, 2026, Proceedings, Part I.: Springer, 2027. P. 320–337.
Добавлено: 20 сентября 2026 г.
Flow-Guided Neural Pruning: Signal-Flow Framework for Multi-Architecture Model Compression
Aleksei Samarin, Назаренко А. А., Kotenko E. и др., Machine Learning and Knowledge Extraction 2026 Vol. 8 No. 8 P. 1–26
Добавлено: 19 сентября 2026 г.
RuCLEVR: A Russian Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning
Biryukova K., Chelnokova D., Erkenova J. и др., , in: Analysis of Images, Social Networks and Texts. AIST 2024Issue 2364.: Cham: Springer, 2024. P. 109–121.
Добавлено: 14 июня 2026 г.
From Standard Transformers to Modern LLMs: Bringing Dialogue Models, RAG, and Agents to the Classroom.
Тихонова М. И., Chekalina V., Chervyakov A. и др., , in: Proceedings of the Seventh Workshop on Teaching Natural Language Processing (TeachNLP 2026).: Association for Computational Linguistics, 2026. P. 41–44.
Добавлено: 13 июня 2026 г.
Long Context Benchmark for the Russian Language
Churin I., Apishev M., Тихонова М. И. и др., , in: Proceedings of the 6th Workshop on Computational Approaches to Discourse, Context and Document-Level Inferences (CODI 2025).: Suzhou: Association for Computational Linguistics, 2025. P. 1–13.
Добавлено: 11 июня 2026 г.
Natural hazard database from Internet publications: text mining with a large language model
Деркачева А. А., Сакиркина М. А., Краев Г. Н. и др., /. 2026.
Добавлено: 28 апреля 2026 г.
Novel Activation Sparsification Approach for Large Language Models
A.V. Demidovskij, Burmistrova E. O., E.I. Zharikov, Optical Memory and Neural Networks (Information Optics) 2025 Vol. 34 P. S166–S174
Добавлено: 22 декабря 2025 г.
Performance Study of Modern Zeroth-Order Optimization Methods for LLM Fine-Tuning
A. V. Demidovskij, A. I. Trutnev, Optical Memory and Neural Networks (Information Optics) 2025 Vol. 34 No. Suppl. 1 P. S16–S29
Добавлено: 22 декабря 2025 г.
Искусственный интеллект как симулякр смысла
Малинов С. А., Галактика медиа: журнал медиа исследований 2025 Т. 7 № 4 С. 154–173
В последние годы искусственный интеллект (ИИ) активно внедряется в повседневную жизнь человека. Его популярность неуклонно растёт, а компании всё чаще используют ИИ для оптимизации и ускорения рабочих процессов. Повседневные пользователи применяют большие языковые модели (Large Language Models, LLM) и мультимодальные ИИ-системы для решения широкого круга задач: генерации текстов, изображений и видео, планирования дня, поиска информации ...
Добавлено: 7 декабря 2025 г.
Transformers and State-Space Models: Fine-Tuning Techniques for Solving Differential Equations
Игнатенко В. В., Сурков А. Ю., Zakharov V. и др., Sci 2025 Vol. 7 No. 3 Article 130
Добавлено: 10 октября 2025 г.
Ultra Fast Warm Start Solution for Graph Recommendations
Юсупов В. А., Рахуба М. В., Фролов Е. П., , in: CIKM '25: Proceedings of the 34rd ACM International Conference on Information and Knowledge Management.: ACM, 2025. Ch. 1 P. 5469–5473.
В этой работе мы представляем быстрый и эффективный линейный подход к обновлению рекомендаций в масштабируемой графовой рекомендательной системе UltraGCN. Решение этой задачи чрезвычайно важно для поддержания актуальности рекомендаций в условиях большого объема новых данных и меняющихся предпочтений пользователей. Чтобы решить эту проблему, мы адаптируем простой, но эффективный подход к низкоранговой аппроксимации в графовой модели. Наш ...
Добавлено: 3 октября 2025 г.
Leveraging Geometric Insights in Hyperbolic Triplet Loss for Improved Recommendations
Юсупов В. А., Рахуба М. В., Фролов Е. П., , in: RecSys '25: Proceedings of the Nineteenth ACM Conference on Recommender Systems.: ACM, 2025. Ch. 1 P. 1217–1221.
Недавние исследования продемонстрировали потенциал гиперболической геометрии для получения сложных свойств из данных взаимодействий в рекомендательных системах. В этой работе мы представляем новую гиперболическую рекомендательную модель, которая использует геометрическую информацию для улучшения обучения представлений и повышения стабильности вычислений одновременно. Мы переформулирвали понятие гиперболических расстояний, чтобы раскрыть дополнительные возможности представления по сравнению с обычным евклидовым пространством и ...
Добавлено: 3 октября 2025 г.
AGDES: a Python package and an approach to generating synthetic data for differential equation solving with LLMs
Vladimir Zakharov, Anton Surkov, Sergei Koltcov, Procedia Computer Science 2025 Vol. 258 P. 1169–1178
Добавлено: 21 августа 2025 г.
Comparative Analysis of Encoder-Based NER and Large Language Models for Skill Extraction from Russian Job Vacancies
Маткин Н. А., Смирнов А. О., Усанин М. А. и др., , in: 12th International Conference, AIST 2024, Bishkek, Kyrgyzstan, October 17–19, 2024, Revised Selected Papers.: Cham: Springer, 2025.
The labor market is undergoing rapid changes, with increasing demands on job seekers and a surge in job openings. Identifying essential skills and competencies from job descriptions is challenging due to varying employer requirements and the omission of key skills. This study addresses these challenges by comparing traditional Named Entity Recognition (NER) methods based on ...
Добавлено: 26 июля 2025 г.
Homological mirror symmetry for the symmetric squares of punctured spheres
Lekili Y., Полищук А., Advances in Mathematics 2023 Vol. 418 Article 108942
Добавлено: 2 декабря 2024 г.
MARS: Masked Automatic Ranks Selection in Tensor Decompositions
Кодрян М. С., Кропотов Д. А., Ветров Д. П., , in: Proceedings of The 26th International Conference on Artificial Intelligence and Statistics (AISTATS 2023), Volume 206Vol. 206.: Valencia: PMLR, 2023. P. 3718–3732.
Добавлено: 9 июня 2023 г.
MARS: Masked Automatic Ranks Selection in Tensor Decompositions
Кодрян М. С., Кропотов Д. А., Ветров Д. П., / Series QTNML 2020 "First Workshop on Quantum Tensor Networks in Machine Learning, NeurIPS 2020". 2020.
Добавлено: 5 февраля 2021 г.
Betti tables of MCM modules over the cone of a plane cubic
Павлов А. Б., Mathematische Zeitschrift 2021 No. 297 P. 223–254
Добавлено: 31 октября 2020 г.
Fundamental Matrix Factorization in the FJRW-Theory Revisited
Полищук А., Arnold Mathematical Journal 2019 Vol. 5 No. 1 P. 23–35
Добавлено: 4 сентября 2019 г.
Compression of recurrent neural networks for efficient language modeling
Грачев А. М., Игнатов Д. И., Савченко А. В., Applied Soft Computing Journal 2019 Vol. 79 P. 354–362
Добавлено: 12 июня 2019 г.
Cyclic homology of categories of matrix factorizations
Ефимов А. И., International Mathematics Research Notices 2018 No. 12 P. 3834–3869
Добавлено: 14 октября 2018 г.
Resolutions in Factorization Categories
Кацарков Л. В., Deliu D., Favero D. и др., Advances in Mathematics 2016 Vol. 295 P. 195–249
Добавлено: 23 октября 2017 г.
2017 IEEE International Conference Fuzzy Systems (FUZZ-IEEE)
IEEE, 2017.
Добавлено: 14 октября 2017 г.
  • О ВЫШКЕ
  • Цифры и факты
  • Руководство и структура
  • Устойчивое развитие в НИУ ВШЭ
  • Преподаватели и сотрудники
  • Корпуса и общежития
  • Закупки
  • Обращения граждан в НИУ ВШЭ
  • Фонд целевого капитала
  • Противодействие коррупции
  • Сведения о доходах, расходах, об имуществе и обязательствах имущественного характера
  • Сведения об образовательной организации
  • Людям с ограниченными возможностями здоровья
  • Единая платежная страница
  • Работа в Вышке
  • ОБРАЗОВАНИЕ
  • Лицей
  • Довузовская подготовка
  • Олимпиады
  • Прием в бакалавриат
  • Вышка+
  • Прием в магистратуру
  • Аспирантура
  • Дополнительное образование
  • Центр развития карьеры
  • Бизнес-инкубатор ВШЭ
  • Образовательные партнерства
  • Обратная связь и взаимодействие с получателями услуг
  • НАУКА
  • Научные подразделения
  • Исследовательские проекты
  • Мониторинги
  • Диссертационные советы
  • Защиты диссертаций
  • Академическое развитие
  • Конкурсы и гранты
  • Внешние научно-информационные ресурсы
  • РЕСУРСЫ
  • Библиотека
  • Издательский дом ВШЭ
  • Книжный магазин «БукВышка»
  • Типография
  • Медиацентр
  • Журналы ВШЭ
  • Публикации
  • http://www.minobrnauki.gov.ru/
    Министерство науки и высшего образования РФ
  • https://edu.gov.ru/
    Министерство просвещения РФ
  • https://elearning.hse.ru/mooc
    Массовые открытые онлайн-курсы
  • НИУ ВШЭ1993–2026
  • Адреса и контакты
  • Условия использования материалов
  • Политика обработки персональных данных
  • Правила применения рекомендательных технологий в НИУ ВШЭ
  • Карта сайта
Редактору