• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • A
  • A
  • A
  • A
  • A
Обычная версия сайта
  • RU
  • EN
  • Национальный исследовательский университет «Высшая школа экономики»
  • Публикации ВШЭ
  • Глава
  • Extreme Compression of Large Language Models via Additive Quantization
  • RU
  • EN
Расширенный поиск
Высшая школа экономики
Национальный исследовательский университет
Приоритетные направления
  • бизнес-информатика
  • государственное и муниципальное управление
  • гуманитарные науки
  • инженерные науки
  • компьютерно-математическое
  • математика
  • менеджмент
  • право
  • социология
  • экономика
по году
  • 2027
  • 2026
  • 2025
  • 2024
  • 2023
  • 2022
  • 2021
  • 2020
  • 2019
  • 2018
  • 2017
  • 2016
  • 2015
  • 2014
  • 2013
  • 2012
  • 2011
  • 2010
  • 2009
  • 2008
  • 2007
  • 2006
  • 2005
  • 2004
  • 2003
  • 2002
  • 2001
  • 2000
  • 1999
  • 1998
  • 1997
  • 1996
  • 1995
  • 1994
  • 1993
  • 1992
  • 1991
  • 1990
  • 1989
  • 1988
  • 1987
  • 1986
  • 1985
  • 1984
  • 1983
  • 1982
  • 1981
  • 1980
  • 1979
  • 1978
  • 1977
  • 1976
  • 1975
  • 1974
  • 1973
  • 1972
  • 1971
  • 1970
  • 1969
  • 1968
  • 1967
  • 1966
  • 1965
  • 1964
  • 1963
  • 1958
  • еще
Тематика
Новости
1 июля 2026 г.
Ученые НИУ ВШЭ выяснили, кто и почему в России питается вне дома
Около трети населения (31,3%) практически не едят вне дома и не покупают готовую еду. Ядро активных потребителей — тех, кто питается вне дома или покупает готовое почти ежедневно или несколько раз в неделю, — составляет всего около 9%. Таковы результаты исследования, проведенного Институтом социальной политики НИУ ВШЭ. Как отмечают авторы, питание вне дома в России перестало быть маркером высокого статуса.
30 июня 2026 г.
Аспирантка НИУ ВШЭ получила премию за выдающуюся научную статью
Международное научное общество по коллективному выбору и экономике благосостояния — Society for Social Choice and Welfare (SSCW) — присудило награду для молодых исследователей Ангелине Юдиной, аспирантке и преподавателю департамента математики ФЭН, младшему научному сотруднику Международного центра анализа и выбора решений НИУ ВШЭ. Ученые отметили ее статью, посвященную решениям задачи выбора наилучших альтернатив на основании результатов их попарных сравнений.
30 июня 2026 г.
«Я хотела бы, чтобы мои исследования помогали делать мир спокойнее и лучше»
Какую бы задачу ни решала младший научный сотрудник Лаборатории методов анализа больших данных Института искусственного интеллекта и цифровых наук ФКН ВШЭ Сараа Али, она думает, какую пользу она может принести людям. О своей большой семье, диагностике трехфазных двигателей и мечте построить на родине детский приют она рассказала проекту «Молодые ученые Вышки».

 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!

Публикации
  • Книги
  • Статьи
  • Главы в книгах
  • Препринты
  • Верификация публикаций
  • Расширенный поиск
  • Правила использования материалов
  • Наука в ВШЭ

?

Extreme Compression of Large Language Models via Additive Quantization

.
Vage Egiazarian, Andrei Panferov, Denis Kuznedelev, Frantar E., Artem Babenko, Alistarh D.
Язык: английский
Текст на другом сайте
Ключевые слова: Large Language ModelsAdditive Quantization

В книге

41st International Conference on Machine Learning, ICML 2024; Vienna; Austria; 21 July 2024 до 27 July 2024
Maastricht: ML Research Press, 2024.
Похожие публикации
COALA: Numerically Stable and Efficient Framework for Context-Aware Low-Rank Approximation
Паркина У. Р., Рахуба М. В., , in: 39th Conference on Neural Information Processing Systems (NeurIPS 2025).: NeurIPS, 2025. P. 71014–71041.
Добавлено: 29 апреля 2026 г.
FRUGAL: Memory-Efficient Optimization by Reducing State Overhead for Scalable Training
Zmushko P., Безносиков А. Н., Takáč M. и др., , in: Volume 267: International Conference on Machine Learning, 13-19 July 2025, Vancouver Convention Center, Vancouver, CanadaVol. 267.: [б.и.], 2025. P. 80708–80739.
Добавлено: 10 ноября 2025 г.
Hogwild! Inference: Parallel LLM Generation via Concurrent Attention
Rodionov G., Roman Garipov, Alina Shutova и др., , in: 39th Conference on Neural Information Processing Systems (NeurIPS 2025).: NeurIPS, 2025. P. 46592–46633.
Добавлено: 6 ноября 2025 г.
Гендерные различия в игре диктатора: сравнение поведения больших языковых моделей и людей
Паршаков П. А., Паклина С. Н., Маткин Н. А. и др., Вестник Пермского университета. Серия: Экономика 2026 Т. 21 № 1 С. 42–57
Введение. Большие языковые модели (LLM) всё активнее используются в социальных науках для имитации поведения участников экспериментов и анализа норм кооперации и справедливости. Однако остаётся открытым вопрос, способны ли они воспроизводить социальные асимметрии, включая гендерные различия. Цель. Работа направлена на проверку того, воспроизводят ли LLM гендерные различия в игре «Диктатор» и каким образом текстовые объяснения решений ...
Добавлено: 27 октября 2025 г.
Сравнительный анализ поведения больших языковых моделей и людей в игре «Диктатор»
Шенкман (Попова) Е. А., Паршаков П. А., Маткин Н. А., Журнал Новой экономической ассоциации 2026 Т. 71 № 2 С. 177–203
В статье анализируется поведение больших языковых моделей (LLM) в игре «Диктатор»; сравнение проводилось с результатами ранее проведённых лабораторных поведенческих экспериментов с участием людей. В работе рассматриваются модификации базовой игры, включающие возможность изъятия ресурсов у оппонента, а также введение производственной фазы. Для экспериментов были отобраны десять LLM, среди которых как международные, так и российские разработки. Полученные ...
Добавлено: 27 октября 2025 г.
Large Language Model Failures in Higher Education: Causes and Prevention
Andrei A. Ternikov, COMPUTER 2025 Vol. 58 No. 11 P. 74–83
Добавлено: 31 июля 2025 г.
Smart Technical Support System Development Using Knowledge Map-Aided Approach
Alexander Suleykin, Peter Panfilov, , in: 2024 6th International Conference on Control Systems, Mathematical Modeling, Automation and Energy Efficiency (SUMMA).: NY: IEEE, 2024. P. 455–460.
Добавлено: 5 апреля 2025 г.
Proceedings of the 28th Conference on Computational Natural Language Learning
Association for Computational Linguistics, 2024.
Добавлено: 11 марта 2025 г.
Подход к созданию сервиса генерации программного кода мобильных приложений с использованием больших языковых моделей
Резуник Л., Александров Д.В., ИТ-Стандарт 2024 № 4 С. 34–41
Технологии машинного обучения и различные инструменты для генерации кода в последние годы оказали значительное влияние на сферу разработки программного обеспечения. Хотя большинство существующих решений не созданы специально для генерации кода, программисты применяют их в различных задачах. Не многие из существующих решений для искусственного интеллекта хорошо работают с менее распространенными языками, такими как Kotlin или Swift, ...
Добавлено: 30 декабря 2024 г.
Mind Your Format: Towards Consistent Evaluation of In-Context Learning Improvements
Воронов А. Д., Wolf L., Рябинин М. К., , in: Findings of the Association for Computational Linguistics: ACL 2024.: Association for Computational Linguistics, 2024. P. 6287–6310.
Добавлено: 24 декабря 2024 г.
LLM-KT: A Versatile Framework for Knowledge Transfer from Large Language Models to Collaborative Filtering
Северин Н. Н., Булычев И. Д., Yushkov M. и др., ICDM 2024
Добавлено: 13 декабря 2024 г.
ПРИМЕНЕНИЕ СТИЛОМЕТРИИ ДЛЯ ОПРЕДЕЛЕНИЯ СГЕНЕРИРОВАННЫХ ТЕКСТОВ
Е. А. Сальников, А. А. Бонч-Осмоловская, В кн.: Информационные технологии в гуманитарных исследованиях: Материалы Международной научно-практической конференции, Красноярск, 25–28 сентября 2023 г.: Сибирский федеральный университет, 2023. С. 176–182.
В рамках данного доклад будет проанализировано использование стилометрической метрики дельта Бёрроуза в качестве метода для определения искусственного (т. е. сгенерированного языковой моделью) текста. Данными для эксперимента послужили дневники – как дневниковые записи случайно выбранных авторов, так и дневниковые записи М. М. Пришвина. В качестве данных языковых моделей послужили дневниковые записи, сгенерированные при помощи языковых моделей ...
Добавлено: 11 октября 2024 г.
Linguacodus: A synergistic framework for transformative code generation in machine learning pipelines
Трофимова Е. А., Emil Sataev, Ustyuzhanin A., PeerJ Computer Science 2024 Vol. 10 Article e2328
Добавлено: 27 сентября 2024 г.
Dialogue as Autocommunication - On Interactions with Large Language Models
Kartasheva Anna, Technology and Language 2024 Vol. 5 No. 2 P. 57–66
В диалоге с большими языковыми моделями (LLM) происходит совпадение адресата и адресанта сообщения, поэтому такой диалог можно назвать аутокоммуникацией. Нейросеть может ответить только на вопрос, имеющий формулировку. Формулирует вопрос тот, кто спрашивает — то есть, человек. Активность человека в диалоге с нейросетями провоцирует на размышления о природе такого диалога. Составление промптов является одной из самых творческих частей общения с нейросетями. Но, стоит отметить, что нейросеть зачастую лучше ...
Добавлено: 9 сентября 2024 г.
ChatGPT vs. Crowdsourcing vs. Experts: Annotating Open-Domain Conversations with Speech Functions
Ostyakova Lidiia, Smilga V., Petukhova K. и др., , in: Proceedings of the 24th Annual Meeting of the Special Interest Group on Discourse and Dialogue.: Prague: Association for Computational Linguistics, 2023. P. 242–254.
Добавлено: 24 мая 2024 г.
SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression
Dettmers T., Ruslan Svirschevski, Vage Egiazarian и др., , in: Proceedings of the 12th International Conference on Learning Representations (ICLR 2024).: ICLR, 2024.
Добавлено: 5 марта 2024 г.
  • О ВЫШКЕ
  • Цифры и факты
  • Руководство и структура
  • Устойчивое развитие в НИУ ВШЭ
  • Преподаватели и сотрудники
  • Корпуса и общежития
  • Закупки
  • Обращения граждан в НИУ ВШЭ
  • Фонд целевого капитала
  • Противодействие коррупции
  • Сведения о доходах, расходах, об имуществе и обязательствах имущественного характера
  • Сведения об образовательной организации
  • Людям с ограниченными возможностями здоровья
  • Единая платежная страница
  • Работа в Вышке
  • ОБРАЗОВАНИЕ
  • Лицей
  • Довузовская подготовка
  • Олимпиады
  • Прием в бакалавриат
  • Вышка+
  • Прием в магистратуру
  • Аспирантура
  • Дополнительное образование
  • Центр развития карьеры
  • Бизнес-инкубатор ВШЭ
  • Образовательные партнерства
  • Обратная связь и взаимодействие с получателями услуг
  • НАУКА
  • Научные подразделения
  • Исследовательские проекты
  • Мониторинги
  • Диссертационные советы
  • Защиты диссертаций
  • Академическое развитие
  • Конкурсы и гранты
  • Внешние научно-информационные ресурсы
  • РЕСУРСЫ
  • Библиотека
  • Издательский дом ВШЭ
  • Книжный магазин «БукВышка»
  • Типография
  • Медиацентр
  • Журналы ВШЭ
  • Публикации
  • http://www.minobrnauki.gov.ru/
    Министерство науки и высшего образования РФ
  • https://edu.gov.ru/
    Министерство просвещения РФ
  • http://www.edu.ru
    Федеральный портал «Российское образование»
  • https://elearning.hse.ru/mooc
    Массовые открытые онлайн-курсы
  • НИУ ВШЭ1993–2026
  • Адреса и контакты
  • Условия использования материалов
  • Политика конфиденциальности
  • Правила применения рекомендательных технологий в НИУ ВШЭ
  • Карта сайта
Редактору