• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • A
  • A
  • A
  • A
  • A
Обычная версия сайта
  • RU
  • EN
  • Национальный исследовательский университет «Высшая школа экономики»
  • Публикации ВШЭ
  • Глава
  • Extreme Compression of Large Language Models via Additive Quantization
  • RU
  • EN
Расширенный поиск
Высшая школа экономики
Национальный исследовательский университет
Приоритетные направления
  • бизнес-информатика
  • государственное и муниципальное управление
  • гуманитарные науки
  • инженерные науки
  • компьютерно-математическое
  • математика
  • менеджмент
  • право
  • социология
  • экономика
по году
  • 2027
  • 2026
  • 2025
  • 2024
  • 2023
  • 2022
  • 2021
  • 2020
  • 2019
  • 2018
  • 2017
  • 2016
  • 2015
  • 2014
  • 2013
  • 2012
  • 2011
  • 2010
  • 2009
  • 2008
  • 2007
  • 2006
  • 2005
  • 2004
  • 2003
  • 2002
  • 2001
  • 2000
  • 1999
  • 1998
  • 1997
  • 1996
  • 1995
  • 1994
  • 1993
  • 1992
  • 1991
  • 1990
  • 1989
  • 1988
  • 1987
  • 1986
  • 1985
  • 1984
  • 1983
  • 1982
  • 1981
  • 1980
  • 1979
  • 1978
  • 1977
  • 1976
  • 1975
  • 1974
  • 1973
  • 1972
  • 1971
  • 1970
  • 1969
  • 1968
  • 1967
  • 1966
  • 1965
  • 1964
  • 1963
  • 1958
  • еще
Тематика
Новости
10 ноября 2026 г.
Ученые ФКН ВШЭ представили исследования в области тензорных методов на международной конференции в Китае
Исследователи Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ приняли участие в Международной конференции-школе по тензорным методам в математике и вычислениях для искусственного интеллекта (3rd Conference-School on Tensor Methods in Mathematics and Artificial Intelligence Computing). Мероприятие прошло в конце октября в Шэньчжэне (Китай). Одна из работ ученых института получила награду Best Poster Award и вошла в число пяти лучших постеров конференции.
9 ноября 2026 г.
Российские физики показали, как среда управляет откликом молекул лекарств
Молекулы многих лекарств могут переходить из одной пространственной формы в другую. Ученые НИУ ВШЭ и Института химии растворов РАН с помощью математической модели ибупрофена в сверхкритическом CO₂ показали, что растворитель может вызывать необычно медленный отклик таких молекул. Сами молекулы при этом продолжают быстро менять форму, но их окружение перестраивается медленно, и это отражается на результатах измерений. Исследование опубликовано в The Journal of Chemical Physics.
6 ноября 2026 г.
Ученые НИУ ВШЭ - Санкт-Петербург разработали новый инструмент для речевой терапии после инсульта
Ученые НИУ ВШЭ — Санкт-Петербург совместно с коллегами из отделения нейрореабилитации Федерального Сибирского научно-клинического центра ФМБА в Красноярске разработали корпус упрощенных текстов для пациентов с афазией разной степени тяжести. Клинические исследования показали, что материалы по актуальным тематикам мотивируют активнее заниматься восстановлением речи после инсульта. Исследование опубликовано в журнале Aphasiology.

 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!

Публикации
  • Книги
  • Статьи
  • Главы в книгах
  • Препринты
  • Верификация публикаций
  • Расширенный поиск
  • Правила использования материалов
  • Наука в ВШЭ

?

Extreme Compression of Large Language Models via Additive Quantization

.
Vage Egiazarian, Andrei Panferov, Denis Kuznedelev, Frantar E., Artem Babenko, Alistarh D.
Язык: английский
Текст на другом сайте
Ключевые слова: Large Language ModelsAdditive Quantization

В книге

41st International Conference on Machine Learning, ICML 2024; Vienna; Austria; 21 July 2024 до 27 July 2024
Maastricht: ML Research Press, 2024.
Похожие публикации
PrimeKV: Preserving critical KV cache without attention scores for long-context inference
Чжан Ч., Ильвовский Д. А., Neurocomputing 2027 Vol. 710
Добавлено: 5 ноября 2026 г.
Amplifying Latent Safety in Large Language Models via Gated Activation Steering
Roman Prosvirnin, Suslov A., Aleksei Soldatov и др., Computation 2026 Vol. 14 No. 10 Article 261
Добавлено: 27 октября 2026 г.
ML²B: Benchmarking LLMs on Cross-Lingual ML Pipeline Generation
Трофимова Е. А., Shamina Z., Selifanova M. и др., , in: Proceedings of the Generative Code Intelligence Workshop (GeCoIn 2026), co-located with the 35th International Joint Conference on Artificial Intelligence (IJCAI-ECAI 2026)Vol. 4238.: CEUR-WS.org, 2026.
Добавлено: 20 августа 2026 г.
Improving Differential Equation Solving in Compact Language Models via Activation Steering and Reinforcement Learning
Сурков А. Ю., Игнатенко В. В., Кольцов С. Н., Computers, Materials and Continua 2026 Vol. 88 No. 3 Article 74
Добавлено: 8 июля 2026 г.
COALA: Numerically Stable and Efficient Framework for Context-Aware Low-Rank Approximation
Паркина У. Р., Рахуба М. В., , in: 39th Conference on Neural Information Processing Systems (NeurIPS 2025).: NeurIPS, 2025. P. 71014–71041.
Добавлено: 29 апреля 2026 г.
Less is More: Instructed Text Simplification for People with Aphasia
Колмогорова А. В., Anastasia Margolina, Telnova A. и др., Aphasiology 2026
Добавлено: 12 ноября 2025 г.
FRUGAL: Memory-Efficient Optimization by Reducing State Overhead for Scalable Training
Zmushko P., Безносиков А. Н., Takáč M. и др., , in: Volume 267: International Conference on Machine Learning, 13-19 July 2025, Vancouver Convention Center, Vancouver, CanadaVol. 267.: [б.и.], 2025. P. 80708–80739.
Добавлено: 10 ноября 2025 г.
Hogwild! Inference: Parallel LLM Generation via Concurrent Attention
Rodionov G., Roman Garipov, Alina Shutova и др., , in: 39th Conference on Neural Information Processing Systems (NeurIPS 2025).: NeurIPS, 2025. P. 46592–46633.
Добавлено: 6 ноября 2025 г.
Гендерные различия в игре диктатора: сравнение поведения больших языковых моделей и людей
Паршаков П. А., Паклина С. Н., Маткин Н. А. и др., Вестник Пермского университета. Серия: Экономика 2026 Т. 21 № 1 С. 42–57
Введение. Большие языковые модели (LLM) всё активнее используются в социальных науках для имитации поведения участников экспериментов и анализа норм кооперации и справедливости. Однако остаётся открытым вопрос, способны ли они воспроизводить социальные асимметрии, включая гендерные различия. Цель. Работа направлена на проверку того, воспроизводят ли LLM гендерные различия в игре «Диктатор» и каким образом текстовые объяснения решений ...
Добавлено: 27 октября 2025 г.
Сравнительный анализ поведения больших языковых моделей и людей в игре «Диктатор»
Шенкман Е. А., Паршаков П. А., Маткин Н. А., Журнал Новой экономической ассоциации 2026 № 2(71) С. 177–203
В статье анализируется поведение больших языковых моделей (LLM) в игре «Диктатор»; сравнение проводилось с результатами ранее проведённых лабораторных поведенческих экспериментов с участием людей. В работе рассматриваются модификации базовой игры, включающие возможность изъятия ресурсов у оппонента, а также введение производственной фазы. Для экспериментов были отобраны десять LLM, среди которых как международные, так и российские разработки. Полученные ...
Добавлено: 27 октября 2025 г.
Large Language Model Failures in Higher Education: Causes and Prevention
Andrei A. Ternikov, COMPUTER 2025 Vol. 58 No. 11 P. 74–83
Добавлено: 31 июля 2025 г.
A graph-based approach to closed-domain natural language generation
Victoria I. Firsanova, Research Result. Theoretical and Applied Linguistics 2024 Vol. 10 No. 3 P. 135–167
Обработка естественного языка на основе графов в последние годы становится актуальной благодаря развитию больших языковых моделей и генерации, дополненной информационным поиском. Большие языковые модели - это сложные алгоритмы, которые распознают многочисленные задачи обработки естественного языка путем анализа инструкций пользователей на естественном языке. Однако их промышленное использование вызывает сомнения из-за таких этических проблем, как создание ложной ...
Добавлено: 12 июля 2025 г.
Smart Technical Support System Development Using Knowledge Map-Aided Approach
Alexander Suleykin, Peter Panfilov, , in: 2024 6th International Conference on Control Systems, Mathematical Modeling, Automation and Energy Efficiency (SUMMA).: NY: IEEE, 2024. P. 455–460.
Добавлено: 5 апреля 2025 г.
Proceedings of the 28th Conference on Computational Natural Language Learning
Association for Computational Linguistics, 2024.
Добавлено: 11 марта 2025 г.
Подход к созданию сервиса генерации программного кода мобильных приложений с использованием больших языковых моделей
Резуник Л., Александров Д.В., ИТ-Стандарт 2024 № 4 С. 34–41
Технологии машинного обучения и различные инструменты для генерации кода в последние годы оказали значительное влияние на сферу разработки программного обеспечения. Хотя большинство существующих решений не созданы специально для генерации кода, программисты применяют их в различных задачах. Не многие из существующих решений для искусственного интеллекта хорошо работают с менее распространенными языками, такими как Kotlin или Swift, ...
Добавлено: 30 декабря 2024 г.
Mind Your Format: Towards Consistent Evaluation of In-Context Learning Improvements
Воронов А. Д., Wolf L., Рябинин М. К., , in: Findings of the Association for Computational Linguistics: ACL 2024.: Association for Computational Linguistics, 2024. P. 6287–6310.
Добавлено: 24 декабря 2024 г.
LLM-KT: A Versatile Framework for Knowledge Transfer from Large Language Models to Collaborative Filtering
Северин Н. Н., Булычев И. Д., Yushkov M. и др., ICDM 2024
Добавлено: 13 декабря 2024 г.
  • О ВЫШКЕ
  • Цифры и факты
  • Руководство и структура
  • Устойчивое развитие в НИУ ВШЭ
  • Преподаватели и сотрудники
  • Корпуса и общежития
  • Закупки
  • Обращения граждан в НИУ ВШЭ
  • Фонд целевого капитала
  • Противодействие коррупции
  • Сведения о доходах, расходах, об имуществе и обязательствах имущественного характера
  • Сведения об образовательной организации
  • Людям с ограниченными возможностями здоровья
  • Единая платежная страница
  • Работа в Вышке
  • ОБРАЗОВАНИЕ
  • Лицей
  • Довузовская подготовка
  • Олимпиады
  • Прием в бакалавриат
  • Вышка+
  • Прием в магистратуру
  • Аспирантура
  • Дополнительное образование
  • Центр развития карьеры
  • Бизнес-инкубатор ВШЭ
  • Образовательные партнерства
  • Обратная связь и взаимодействие с получателями услуг
  • НАУКА
  • Научные подразделения
  • Исследовательские проекты
  • Мониторинги
  • Диссертационные советы
  • Защиты диссертаций
  • Академическое развитие
  • Конкурсы и гранты
  • Внешние научно-информационные ресурсы
  • РЕСУРСЫ
  • Библиотека
  • Издательский дом ВШЭ
  • Книжный магазин «БукВышка»
  • Типография
  • Медиацентр
  • Журналы ВШЭ
  • Публикации
  • http://www.minobrnauki.gov.ru/
    Министерство науки и высшего образования РФ
  • https://edu.gov.ru/
    Министерство просвещения РФ
  • https://elearning.hse.ru/mooc
    Массовые открытые онлайн-курсы
  • НИУ ВШЭ1993–2026
  • Адреса и контакты
  • Условия использования материалов
  • Политика обработки персональных данных
  • Правила применения рекомендательных технологий в НИУ ВШЭ
  • Карта сайта
Редактору