• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • A
  • A
  • A
  • A
  • A
Обычная версия сайта
  • RU
  • EN
  • Национальный исследовательский университет «Высшая школа экономики»
  • Публикации ВШЭ
  • Глава
  • ProcrustesGPT: Compressing LLMs with Structured Matrices and Orthogonal Transformations
  • RU
  • EN
Расширенный поиск
Высшая школа экономики
Национальный исследовательский университет
Приоритетные направления
  • бизнес-информатика
  • государственное и муниципальное управление
  • гуманитарные науки
  • инженерные науки
  • компьютерно-математическое
  • математика
  • менеджмент
  • право
  • социология
  • экономика
по году
  • 2027
  • 2026
  • 2025
  • 2024
  • 2023
  • 2022
  • 2021
  • 2020
  • 2019
  • 2018
  • 2017
  • 2016
  • 2015
  • 2014
  • 2013
  • 2012
  • 2011
  • 2010
  • 2009
  • 2008
  • 2007
  • 2006
  • 2005
  • 2004
  • 2003
  • 2002
  • 2001
  • 2000
  • 1999
  • 1998
  • 1997
  • 1996
  • 1995
  • 1994
  • 1993
  • 1992
  • 1991
  • 1990
  • 1989
  • 1988
  • 1987
  • 1986
  • 1985
  • 1984
  • 1983
  • 1982
  • 1981
  • 1980
  • 1979
  • 1978
  • 1977
  • 1976
  • 1975
  • 1974
  • 1973
  • 1972
  • 1971
  • 1970
  • 1969
  • 1968
  • 1967
  • 1966
  • 1965
  • 1964
  • 1963
  • 1958
  • еще
Тематика
Новости
28 мая 2026 г.
«Мне нравятся самосбывающиеся пророчества»
Андрей Ворчик изучает счастье, читает научпоп-лекции и хочет, чтобы наука занималась в том числе общественными проблемами. В интервью проекту «Молодые ученые Вышки» он рассказал о том, как эмоции влияют на принятие решений, Бермудском треугольнике из ванной, холодильника и кровати и идеальной формуле образования.
28 мая 2026 г.
Карманные деньги, интерес и семья: что влияет на экономическую грамотность студентов
Экономическая грамотность студентов зависит не только от профильного образования, но и от интереса к экономике, учебной среды и финансовых практик в семье. Так, студенты, получавшие карманные деньги нерегулярно, в среднем лучше справляются с тестами по экономической грамотности, чем их сверстники с постоянной финансовой поддержкой. Это показало исследование НИУ ВШЭ на выборке более 1100 студентов из пяти российских университетов. Результаты работы опубликованы в журнале Cakrawala Pendidikan.
27 мая 2026 г.
Нейросетевое отображение как метод создания математических моделей
Ученые НИУ ВШЭ в Нижнем Новгороде и Белградского института физики (Сербия) совместно изучают возможности применения методов машинного обучения и использования нейросетей в исследованиях нелинейной динамики. О международном проекте «Вышке.Главное» рассказала его руководитель от ВШЭ, ведущий научный сотрудник Лаборатории топологических методов в динамике факультета информатики, математики и компьютерных наук НИУ ВШЭ в Нижнем Новгороде Наталия Станкевич.

 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!

Публикации
  • Книги
  • Статьи
  • Главы в книгах
  • Препринты
  • Верификация публикаций
  • Расширенный поиск
  • Правила использования материалов
  • Наука в ВШЭ

?

ProcrustesGPT: Compressing LLMs with Structured Matrices and Orthogonal Transformations

P. 26937–26949.
Гришина Е. Р., Горбунов М. А., Рахуба М. В.
Язык: английский
Полный текст
DOI
Текст на другом сайте
Ключевые слова: matrix factorizationsneural network compressionLarge Language Models (LLM)
ПУБЛИКАЦИЯ ПОДГОТОВЛЕНА ПО РЕЗУЛЬТАТАМ ПРОЕКТА:
Разработка теоретических основ и методов генеративного искусственного интеллекта и их приложение к неоднородным доменным областям (2025)

В книге

Findings of the Association for Computational Linguistics: ACL 2025
Association for Computational Linguistics, 2025.
Похожие публикации
Natural hazard database from Internet publications: text mining with a large language model
Деркачева А. А., Сакиркина М. А., Краев Г. Н. и др., /. 2026.
Добавлено: 28 апреля 2026 г.
Novel Activation Sparsification Approach for Large Language Models
A.V. Demidovskij, Burmistrova E. O., E.I. Zharikov, Optical Memory and Neural Networks (Information Optics) 2025 Vol. 34 P. S166–S174
Добавлено: 22 декабря 2025 г.
Performance Study of Modern Zeroth-Order Optimization Methods for LLM Fine-Tuning
A. V. Demidovskij, A. I. Trutnev, Optical Memory and Neural Networks (Information Optics) 2025 Vol. 34 No. Suppl. 1 P. S16–S29
Добавлено: 22 декабря 2025 г.
Искусственный интеллект как симулякр смысла
Малинов С. А., Галактика медиа: журнал медиа исследований 2025 Т. 7 № 4 С. 154–173
В последние годы искусственный интеллект (ИИ) активно внедряется в повседневную жизнь человека. Его популярность неуклонно растёт, а компании всё чаще используют ИИ для оптимизации и ускорения рабочих процессов. Повседневные пользователи применяют большие языковые модели (Large Language Models, LLM) и мультимодальные ИИ-системы для решения широкого круга задач: генерации текстов, изображений и видео, планирования дня, поиска информации ...
Добавлено: 7 декабря 2025 г.
Transformers and State-Space Models: Fine-Tuning Techniques for Solving Differential Equations
Игнатенко В. В., Сурков А. Ю., Zakharov V. и др., Sci 2025 Vol. 7 No. 3 Article 130
Добавлено: 10 октября 2025 г.
Ultra Fast Warm Start Solution for Graph Recommendations
Юсупов В. А., Рахуба М. В., Фролов Е. П., , in: CIKM '25: Proceedings of the 34rd ACM International Conference on Information and Knowledge Management.: ACM, 2025. Ch. 1 P. 5469–5473.
В этой работе мы представляем быстрый и эффективный линейный подход к обновлению рекомендаций в масштабируемой графовой рекомендательной системе UltraGCN. Решение этой задачи чрезвычайно важно для поддержания актуальности рекомендаций в условиях большого объема новых данных и меняющихся предпочтений пользователей. Чтобы решить эту проблему, мы адаптируем простой, но эффективный подход к низкоранговой аппроксимации в графовой модели. Наш ...
Добавлено: 3 октября 2025 г.
Leveraging Geometric Insights in Hyperbolic Triplet Loss for Improved Recommendations
Юсупов В. А., Рахуба М. В., Фролов Е. П., , in: RecSys '25: Proceedings of the Nineteenth ACM Conference on Recommender Systems.: ACM, 2025. Ch. 1 P. 1217–1221.
Недавние исследования продемонстрировали потенциал гиперболической геометрии для получения сложных свойств из данных взаимодействий в рекомендательных системах. В этой работе мы представляем новую гиперболическую рекомендательную модель, которая использует геометрическую информацию для улучшения обучения представлений и повышения стабильности вычислений одновременно. Мы переформулирвали понятие гиперболических расстояний, чтобы раскрыть дополнительные возможности представления по сравнению с обычным евклидовым пространством и ...
Добавлено: 3 октября 2025 г.
AGDES: a Python package and an approach to generating synthetic data for differential equation solving with LLMs
Vladimir Zakharov, Anton Surkov, Sergei Koltcov, Procedia Computer Science 2025 Vol. 258 P. 1169–1178
Добавлено: 21 августа 2025 г.
Comparative Analysis of Encoder-Based NER and Large Language Models for Skill Extraction from Russian Job Vacancies
Маткин Н. А., Смирнов А. О., Усанин М. А. и др., , in: 12th International Conference, AIST 2024, Bishkek, Kyrgyzstan, October 17–19, 2024, Revised Selected Papers.: Cham: Springer, 2025.
The labor market is undergoing rapid changes, with increasing demands on job seekers and a surge in job openings. Identifying essential skills and competencies from job descriptions is challenging due to varying employer requirements and the omission of key skills. This study addresses these challenges by comparing traditional Named Entity Recognition (NER) methods based on ...
Добавлено: 26 июля 2025 г.
Homological mirror symmetry for the symmetric squares of punctured spheres
Lekili Y., Полищук А., Advances in Mathematics 2023 Vol. 418 Article 108942
Добавлено: 2 декабря 2024 г.
MARS: Masked Automatic Ranks Selection in Tensor Decompositions
Кодрян М. С., Кропотов Д. А., Ветров Д. П., , in: Proceedings of The 26th International Conference on Artificial Intelligence and Statistics (AISTATS 2023), Volume 206Vol. 206.: Valencia: PMLR, 2023. P. 3718–3732.
Добавлено: 9 июня 2023 г.
MARS: Masked Automatic Ranks Selection in Tensor Decompositions
Кодрян М. С., Кропотов Д. А., Ветров Д. П., / Series QTNML 2020 "First Workshop on Quantum Tensor Networks in Machine Learning, NeurIPS 2020". 2020.
Добавлено: 5 февраля 2021 г.
Betti tables of MCM modules over the cone of a plane cubic
Павлов А. Б., Mathematische Zeitschrift 2021 No. 297 P. 223–254
Добавлено: 31 октября 2020 г.
Fundamental Matrix Factorization in the FJRW-Theory Revisited
Полищук А., Arnold Mathematical Journal 2019 Vol. 5 No. 1 P. 23–35
Добавлено: 4 сентября 2019 г.
Compression of recurrent neural networks for efficient language modeling
Грачев А. М., Игнатов Д. И., Савченко А. В., Applied Soft Computing Journal 2019 Vol. 79 P. 354–362
Добавлено: 12 июня 2019 г.
Cyclic homology of categories of matrix factorizations
Ефимов А. И., International Mathematics Research Notices 2018 No. 12 P. 3834–3869
Добавлено: 14 октября 2018 г.
Resolutions in Factorization Categories
Кацарков Л. В., Deliu D., Favero D. и др., Advances in Mathematics 2016 Vol. 295 P. 195–249
Добавлено: 23 октября 2017 г.
2017 IEEE International Conference Fuzzy Systems (FUZZ-IEEE)
IEEE, 2017.
Добавлено: 14 октября 2017 г.
On the max-min and tropical CP-rank conjectures
Шитов Я. Н., Linear and Multilinear Algebra 2016 Vol. 64 No. 2 P. 219–220
Добавлено: 16 декабря 2015 г.
Coherent analogues of matrix factorizations and relative singularity categories
Ефимов А. И., Посицельский Л. Е., Algebra and Number Theory 2015 Vol. 9 No. 5 P. 1159–1292
We define the triangulated category of relative singularities of a closed subscheme in a scheme. When the closed subscheme is a Cartier divisor, we consider matrix factorizations of the related section of a line bundle, and their analogues with locally free sheaves replaced by coherent ones. The appropriate exotic derived category of coherent matrix factorizations ...
Добавлено: 4 сентября 2015 г.
Normal Forms, Inner Products, and Maslov Indices of General Multimode Squeezings
Чеботарев А. М., Tlyachev T. V., Mathematical notes 2014 Vol. 95 No. 5 P. 721–737
In this paper, we present a purely algebraic construction of the normal factorization of multimode squeezed states and calculate their inner products. This procedure allows one to orthonormalize bases generated by squeezed states. We calculate several correct representations of the normalizing constant for the normal factorization, discuss an analog of the Maslov index for squeezed ...
Добавлено: 4 июня 2014 г.
Singular value decomposition for the Takagi factorization of symmetric matrices
Чеботарев А. М., Teretenkov A. E., Applied Mathematics and Computation 2014 Vol. 234 P. 380–384
We describe a simple implementation of the Takagi factorization of symmetric matrices $A = U\Lambda U^T$ with unitary $U$ and diagonal $\Lambda$ in terms of the square root of an auxiliary unitary matrix and the singular value decomposition of $A$. The method is based on an algebraically exact expression. For parameterized family $A_\epsilon = A ...
Добавлено: 4 июня 2014 г.
  • О ВЫШКЕ
  • Цифры и факты
  • Руководство и структура
  • Устойчивое развитие в НИУ ВШЭ
  • Преподаватели и сотрудники
  • Корпуса и общежития
  • Закупки
  • Обращения граждан в НИУ ВШЭ
  • Фонд целевого капитала
  • Противодействие коррупции
  • Сведения о доходах, расходах, об имуществе и обязательствах имущественного характера
  • Сведения об образовательной организации
  • Людям с ограниченными возможностями здоровья
  • Единая платежная страница
  • Работа в Вышке
  • ОБРАЗОВАНИЕ
  • Лицей
  • Довузовская подготовка
  • Олимпиады
  • Прием в бакалавриат
  • Вышка+
  • Прием в магистратуру
  • Аспирантура
  • Дополнительное образование
  • Центр развития карьеры
  • Бизнес-инкубатор ВШЭ
  • Образовательные партнерства
  • Обратная связь и взаимодействие с получателями услуг
  • НАУКА
  • Научные подразделения
  • Исследовательские проекты
  • Мониторинги
  • Диссертационные советы
  • Защиты диссертаций
  • Академическое развитие
  • Конкурсы и гранты
  • Внешние научно-информационные ресурсы
  • РЕСУРСЫ
  • Библиотека
  • Издательский дом ВШЭ
  • Книжный магазин «БукВышка»
  • Типография
  • Медиацентр
  • Журналы ВШЭ
  • Публикации
  • http://www.minobrnauki.gov.ru/
    Министерство науки и высшего образования РФ
  • https://edu.gov.ru/
    Министерство просвещения РФ
  • http://www.edu.ru
    Федеральный портал «Российское образование»
  • https://elearning.hse.ru/mooc
    Массовые открытые онлайн-курсы
  • НИУ ВШЭ1993–2026
  • Адреса и контакты
  • Условия использования материалов
  • Политика конфиденциальности
  • Правила применения рекомендательных технологий в НИУ ВШЭ
  • Карта сайта
Редактору