• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • A
  • A
  • A
  • A
  • A
Обычная версия сайта
  • RU
  • EN
  • Национальный исследовательский университет «Высшая школа экономики»
  • Публикации ВШЭ
  • Глава
  • SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression
  • RU
  • EN
Расширенный поиск
Высшая школа экономики
Национальный исследовательский университет
Приоритетные направления
  • бизнес-информатика
  • государственное и муниципальное управление
  • гуманитарные науки
  • инженерные науки
  • компьютерно-математическое
  • математика
  • менеджмент
  • право
  • социология
  • экономика
по году
  • 2027
  • 2026
  • 2025
  • 2024
  • 2023
  • 2022
  • 2021
  • 2020
  • 2019
  • 2018
  • 2017
  • 2016
  • 2015
  • 2014
  • 2013
  • 2012
  • 2011
  • 2010
  • 2009
  • 2008
  • 2007
  • 2006
  • 2005
  • 2004
  • 2003
  • 2002
  • 2001
  • 2000
  • 1999
  • 1998
  • 1997
  • 1996
  • 1995
  • 1994
  • 1993
  • 1992
  • 1991
  • 1990
  • 1989
  • 1988
  • 1987
  • 1986
  • 1985
  • 1984
  • 1983
  • 1982
  • 1981
  • 1980
  • 1979
  • 1978
  • 1977
  • 1976
  • 1975
  • 1974
  • 1973
  • 1972
  • 1971
  • 1970
  • 1969
  • 1968
  • 1967
  • 1966
  • 1965
  • 1964
  • 1963
  • 1958
  • еще
Тематика
Новости
17 июня 2026 г.
Биоинформатики НИУ ВШЭ обнаружили 20 опасных мутаций в гене, связанном с легочной артериальной гипертензией
Ученые НИУ ВШЭ совместно с коллегами из российских университетов выяснили, какие мутации в гене ACVRL1 опасны для пациентов с легочной артериальной гипертензией. Они смоделировали, как изменения в гене влияют на связывание АТФ с белком — процесс, от которого зависит передача сигналов, необходимых для работы сосудов. Оказалось, что 20 из 32 вариантов могут нарушать передачу сигнала и провоцировать болезнь. Результаты опубликованы в Journal of Structural Biology.
17 июня 2026 г.
Интеллектуальная робототехника: кадровый голод и масса возможностей
Пока на рынке мало кадров, способных заниматься разработкой интеллектуальных робототехнических систем. Между тем именно к этому идет робототехника. Как учат ее проектированию и каково будущее отрасли, в интервью IQ Media рассказал заведующий Проектно-учебной лабораторией робототехники НИУ ВШЭ Вадим Моргачев.
17 июня 2026 г.
Каким должно быть образование, чтобы готовить кадры для экономики будущего
Эти вопросы обсудят на форуме HR EXPO PRO ЛЮДЕЙ, который состоится 18-19 июня в Москве. В его работе примет участие ректор НИУ ВШЭ Никита Анисимов, федеральные министры, HR-директора компаний, ректоры вузов, эксперты. На форуме будет представлен стенд, посвященный программам ДПО НИУ ВШЭ.

 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!

Публикации
  • Книги
  • Статьи
  • Главы в книгах
  • Препринты
  • Верификация публикаций
  • Расширенный поиск
  • Правила использования материалов
  • Наука в ВШЭ

?

SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression

.
Dettmers T., Ruslan Svirschevski, Vage Egiazarian, Denis Kuznedelev, Frantar E., Ashkboos S., Борзунов А. А.
Язык: английский
Текст на другом сайте
Ключевые слова: Large Language Models

В книге

Proceedings of the 12th International Conference on Learning Representations (ICLR 2024)
ICLR, 2024.
Похожие публикации
COALA: Numerically Stable and Efficient Framework for Context-Aware Low-Rank Approximation
Паркина У. Р., Рахуба М. В., , in: 39th Conference on Neural Information Processing Systems (NeurIPS 2025).: NeurIPS, 2025. P. 71014–71041.
Добавлено: 29 апреля 2026 г.
FRUGAL: Memory-Efficient Optimization by Reducing State Overhead for Scalable Training
Zmushko P., Безносиков А. Н., Takáč M. и др., , in: Volume 267: International Conference on Machine Learning, 13-19 July 2025, Vancouver Convention Center, Vancouver, CanadaVol. 267.: [б.и.], 2025. P. 80708–80739.
Добавлено: 10 ноября 2025 г.
Hogwild! Inference: Parallel LLM Generation via Concurrent Attention
Rodionov G., Roman Garipov, Alina Shutova и др., , in: 39th Conference on Neural Information Processing Systems (NeurIPS 2025).: NeurIPS, 2025. P. 46592–46633.
Добавлено: 6 ноября 2025 г.
Гендерные различия в игре диктатора: сравнение поведения больших языковых моделей и людей
Паршаков П. А., Паклина С. Н., Маткин Н. А. и др., Вестник Пермского университета. Серия: Экономика 2026 Т. 21 № 1 С. 42–57
Введение. Большие языковые модели (LLM) всё активнее используются в социальных науках для имитации поведения участников экспериментов и анализа норм кооперации и справедливости. Однако остаётся открытым вопрос, способны ли они воспроизводить социальные асимметрии, включая гендерные различия. Цель. Работа направлена на проверку того, воспроизводят ли LLM гендерные различия в игре «Диктатор» и каким образом текстовые объяснения решений ...
Добавлено: 27 октября 2025 г.
Large Language Model Failures in Higher Education: Causes and Prevention
Andrei A. Ternikov, COMPUTER 2025 Vol. 58 No. 11 P. 74–83
Добавлено: 31 июля 2025 г.
Smart Technical Support System Development Using Knowledge Map-Aided Approach
Alexander Suleykin, Peter Panfilov, , in: 2024 6th International Conference on Control Systems, Mathematical Modeling, Automation and Energy Efficiency (SUMMA).: NY: IEEE, 2024. P. 455–460.
Добавлено: 5 апреля 2025 г.
Proceedings of the 28th Conference on Computational Natural Language Learning
Association for Computational Linguistics, 2024.
Добавлено: 11 марта 2025 г.
Подход к созданию сервиса генерации программного кода мобильных приложений с использованием больших языковых моделей
Резуник Л., Александров Д.В., ИТ-Стандарт 2024 № 4 С. 34–41
Технологии машинного обучения и различные инструменты для генерации кода в последние годы оказали значительное влияние на сферу разработки программного обеспечения. Хотя большинство существующих решений не созданы специально для генерации кода, программисты применяют их в различных задачах. Не многие из существующих решений для искусственного интеллекта хорошо работают с менее распространенными языками, такими как Kotlin или Swift, ...
Добавлено: 30 декабря 2024 г.
Mind Your Format: Towards Consistent Evaluation of In-Context Learning Improvements
Воронов А. Д., Wolf L., Рябинин М. К., , in: Findings of the Association for Computational Linguistics: ACL 2024.: Association for Computational Linguistics, 2024. P. 6287–6310.
Добавлено: 24 декабря 2024 г.
LLM-KT: A Versatile Framework for Knowledge Transfer from Large Language Models to Collaborative Filtering
Северин Н. Н., Булычев И. Д., Yushkov M. и др., ICDM 2024
Добавлено: 13 декабря 2024 г.
ПРИМЕНЕНИЕ СТИЛОМЕТРИИ ДЛЯ ОПРЕДЕЛЕНИЯ СГЕНЕРИРОВАННЫХ ТЕКСТОВ
Е. А. Сальников, А. А. Бонч-Осмоловская, В кн.: Информационные технологии в гуманитарных исследованиях: Материалы Международной научно-практической конференции, Красноярск, 25–28 сентября 2023 г.: Сибирский федеральный университет, 2023. С. 176–182.
В рамках данного доклад будет проанализировано использование стилометрической метрики дельта Бёрроуза в качестве метода для определения искусственного (т. е. сгенерированного языковой моделью) текста. Данными для эксперимента послужили дневники – как дневниковые записи случайно выбранных авторов, так и дневниковые записи М. М. Пришвина. В качестве данных языковых моделей послужили дневниковые записи, сгенерированные при помощи языковых моделей ...
Добавлено: 11 октября 2024 г.
Linguacodus: A synergistic framework for transformative code generation in machine learning pipelines
Трофимова Е. А., Emil Sataev, Ustyuzhanin A., PeerJ Computer Science 2024 Vol. 10 Article e2328
Добавлено: 27 сентября 2024 г.
Dialogue as Autocommunication - On Interactions with Large Language Models
Kartasheva Anna, Technology and Language 2024 Vol. 5 No. 2 P. 57–66
В диалоге с большими языковыми моделями (LLM) происходит совпадение адресата и адресанта сообщения, поэтому такой диалог можно назвать аутокоммуникацией. Нейросеть может ответить только на вопрос, имеющий формулировку. Формулирует вопрос тот, кто спрашивает — то есть, человек. Активность человека в диалоге с нейросетями провоцирует на размышления о природе такого диалога. Составление промптов является одной из самых творческих частей общения с нейросетями. Но, стоит отметить, что нейросеть зачастую лучше ...
Добавлено: 9 сентября 2024 г.
ChatGPT vs. Crowdsourcing vs. Experts: Annotating Open-Domain Conversations with Speech Functions
Ostyakova Lidiia, Smilga V., Petukhova K. и др., , in: Proceedings of the 24th Annual Meeting of the Special Interest Group on Discourse and Dialogue.: Prague: Association for Computational Linguistics, 2023. P. 242–254.
Добавлено: 24 мая 2024 г.
Extreme Compression of Large Language Models via Additive Quantization
Vage Egiazarian, Andrei Panferov, Denis Kuznedelev и др., , in: 41st International Conference on Machine Learning, ICML 2024; Vienna; Austria; 21 July 2024 до 27 July 2024.: Maastricht: ML Research Press, 2024.
Добавлено: 5 марта 2024 г.
  • О ВЫШКЕ
  • Цифры и факты
  • Руководство и структура
  • Устойчивое развитие в НИУ ВШЭ
  • Преподаватели и сотрудники
  • Корпуса и общежития
  • Закупки
  • Обращения граждан в НИУ ВШЭ
  • Фонд целевого капитала
  • Противодействие коррупции
  • Сведения о доходах, расходах, об имуществе и обязательствах имущественного характера
  • Сведения об образовательной организации
  • Людям с ограниченными возможностями здоровья
  • Единая платежная страница
  • Работа в Вышке
  • ОБРАЗОВАНИЕ
  • Лицей
  • Довузовская подготовка
  • Олимпиады
  • Прием в бакалавриат
  • Вышка+
  • Прием в магистратуру
  • Аспирантура
  • Дополнительное образование
  • Центр развития карьеры
  • Бизнес-инкубатор ВШЭ
  • Образовательные партнерства
  • Обратная связь и взаимодействие с получателями услуг
  • НАУКА
  • Научные подразделения
  • Исследовательские проекты
  • Мониторинги
  • Диссертационные советы
  • Защиты диссертаций
  • Академическое развитие
  • Конкурсы и гранты
  • Внешние научно-информационные ресурсы
  • РЕСУРСЫ
  • Библиотека
  • Издательский дом ВШЭ
  • Книжный магазин «БукВышка»
  • Типография
  • Медиацентр
  • Журналы ВШЭ
  • Публикации
  • http://www.minobrnauki.gov.ru/
    Министерство науки и высшего образования РФ
  • https://edu.gov.ru/
    Министерство просвещения РФ
  • http://www.edu.ru
    Федеральный портал «Российское образование»
  • https://elearning.hse.ru/mooc
    Массовые открытые онлайн-курсы
  • НИУ ВШЭ1993–2026
  • Адреса и контакты
  • Условия использования материалов
  • Политика конфиденциальности
  • Правила применения рекомендательных технологий в НИУ ВШЭ
  • Карта сайта
Редактору