• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • A
  • A
  • A
  • A
  • A
Обычная версия сайта
  • RU
  • EN
  • Национальный исследовательский университет «Высшая школа экономики»
  • Публикации ВШЭ
  • Глава
  • LM-Polygraph: Uncertainty Estimation for Language Models
  • RU
  • EN
Расширенный поиск
Высшая школа экономики
Национальный исследовательский университет
Приоритетные направления
  • бизнес-информатика
  • государственное и муниципальное управление
  • гуманитарные науки
  • инженерные науки
  • компьютерно-математическое
  • математика
  • менеджмент
  • право
  • социология
  • экономика
по году
  • 2027
  • 2026
  • 2025
  • 2024
  • 2023
  • 2022
  • 2021
  • 2020
  • 2019
  • 2018
  • 2017
  • 2016
  • 2015
  • 2014
  • 2013
  • 2012
  • 2011
  • 2010
  • 2009
  • 2008
  • 2007
  • 2006
  • 2005
  • 2004
  • 2003
  • 2002
  • 2001
  • 2000
  • 1999
  • 1998
  • 1997
  • 1996
  • 1995
  • 1994
  • 1993
  • 1992
  • 1991
  • 1990
  • 1989
  • 1988
  • 1987
  • 1986
  • 1985
  • 1984
  • 1983
  • 1982
  • 1981
  • 1980
  • 1979
  • 1978
  • 1977
  • 1976
  • 1975
  • 1974
  • 1973
  • 1972
  • 1971
  • 1970
  • 1969
  • 1968
  • 1967
  • 1966
  • 1965
  • 1964
  • 1963
  • 1958
  • еще
Тематика
Новости
19 мая 2026 г.
Физики НИУ ВШЭ выяснили, что происходит внутри устойчивого вихря
В атмосфере и в океане часто наблюдаются крупные вихри с характерными спиральными рукавами. Физики из НИУ ВШЭ объяснили, как они формируются и почему сохраняют свою структуру. Оказалось, что скорости в точках, расположенных вдоль одной дуги вихря, остаются связанными даже на больших расстояниях. При этом в направлении от центра вихря эта связь быстро ослабевает. Такие различия помогают объяснить образование рукавов и могут улучшить модели атмосферных и океанических течений. Результаты опубликованы в Physical Review Fluids.
18 мая 2026 г.
В Вышке прошла XXX юбилейная научно-техническая конференция имени Е.В. Арменского
Организатором научного события выступает Московский институт электроники и математики им. А.Н. Тихонова ВШЭ. В этом году главный инженерный студенческий форум проходил 30-й раз и собрал рекордное число участников. Студенты, аспиранты и молодые специалисты из 50 вузов и организаций России представили научно-исследовательские доклады в ИТ-области. Отдельная секция была посвящена научно-исследовательским работам школьников.
15 мая 2026 г.
В НИУ ВШЭ разрабатывают нейросеть для сферы науки и инноваций
Исследователи НИУ ВШЭ учат большие языковые модели понимать русскоязычную научную терминологию, увеличивая при этом их энергоэффективность. Адаптированная модель работает в 2,7 раза быстрее и требует на 73% меньше памяти, чем исходная открытая модель, что позволяет запускать ее на более доступном оборудовании. Программа прошла государственную регистрацию.

 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!

Публикации
  • Книги
  • Статьи
  • Главы в книгах
  • Препринты
  • Верификация публикаций
  • Расширенный поиск
  • Правила использования материалов
  • Наука в ВШЭ

?

LM-Polygraph: Uncertainty Estimation for Language Models

P. 446 –461.
Fadeeva E., Vashurin R., Цвигун А. О., Vazhentsev A., Petrakov S., Fedyanin K., Daniil Vasilev, Гончарова Е. Ф., Panchenko A., Panov M., Baldwin T., Shelmanov A.
Язык: английский
DOI
Текст на другом сайте
Ключевые слова: Uncertainty EstimationLLM

В книге

Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing
Singapore: Association for Computational Linguistics, 2023.
Похожие публикации
Optimizing Computational Infrastructure for Large Language Models in Bioinformatics: A Case Study
Бекназаров Н. С., , in: Parallel Computational Technologies, 19th International Conference, PCT 2025, Moscow, Russia, April 8–10, 2025, Revised Selected PapersVol. 2891.: Springer, 2026. P. 3–16.
Добавлено: 19 мая 2026 г.
When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs
Seleznyov M., Чайчук М. В., Ershov G. и др., , in: Findings of the Association for Computational Linguistics: EMNLP 2025.: Association for Computational Linguistics, 2025. P. 20370–20385.
Добавлено: 3 февраля 2026 г.
Measuring Chemical LLM robustness to molecular representations: a SMILES variation-based framework
Ganeeva V., Khrabrov K., Kadurin A. и др., Journal of Cheminformatics 2025 No. 17 Article 164
Добавлено: 3 февраля 2026 г.
Aspect-Based Sentiment Analysis Using Large Language Models on Museum Visitor Reviews
Anastasia V. Kolmogorova, Elizaveta R. Kulikova, Vladislav V. Lobanov, Supercomputing Frontiers and Innovations 2025 Vol. 12 No. 3 P. 121–140
Добавлено: 30 ноября 2025 г.
AutoJudge: Judge Decoding Without Manual Annotation
Roman Garipov, Fedor Velikonivtsev, Ivan Ermakov и др., , in: 39th Conference on Neural Information Processing Systems (NeurIPS 2025).: NeurIPS, 2025. P. 94605–94642.
Добавлено: 6 ноября 2025 г.
Strategizing with AI: Insights from a Beauty Contest Experiment
Iuliia Alekseenko, Дагаев Д. А., Sofiia Paklina и др., Journal of Economic Behavior and Organization 2025 Vol. 240 Article 107330
Добавлено: 6 ноября 2025 г.
LLM-Microscope: Uncovering the Hidden Role of Punctuation in Context Memory of Transformers
Anton R., Mikhalchuk M., Rahmatullaev T. и др., , in: Findings of the Association for Computational Linguistics: NAACL 2025.: Association for Computational Linguistics, 2025. P. 7757–7764.
Мы предлагаем методы количественной оценки того, как большие языковые модели (LLM) кодируют и хранят контекстную информацию, и показываем, что токены, обычно считающиеся второстепенными (например, детерминативы и знаки препинания), на деле несут неожиданно высокий объём контекста. В частности, удаление таких токенов — особенно стоп-слов, артиклей и запятых — стабильно ухудшает качество на MMLU и BABILong-4k, даже ...
Добавлено: 6 ноября 2025 г.
Исследования благополучия с помощью передовых методов обработки естественного языка (NLP): перспективы и ограничения
Воеводина Е. Ю., Современная зарубежная психология 2025 Т. 14 № 3 С. 172–181
Контекст и актуальность. Исследования благополучия столкнулись с противоречиями и ограничениями, проистекающими из ограничений метода психометрических самоотчетных шкал. Данные методы критикуются за низкую экологическую валидность, ограниченную информативность и трудности в операционализации комплексного конструкта благополучия. В то же время, стремительное развитие технологий обработки естественного языка (natural language processing, NLP) открывает новые возможности для преодоления этих ограничений. Цель. Провести обзор ...
Добавлено: 9 октября 2025 г.
Оценка моделей LLM по степени готовности решать задачи управления в области ESG
Сторчевой М. А., Мыльников Л. А., Чернышев В. В. и др., / SSRN. Серия "Working Papers". 2025.
Внимание к охране природы принимает все большую значимость для бизнеса с одной стороны в связи с ужесточением в природоохранном законодательстве, а с другой в связи с использованием ESG рейтингов при принятии решений о коммерческой деятельности компаний. Составление рейтинга LLM систем, способных оказывать консультационные услуги в области природоохраны и ESG, позволяет осуществить выбор такой системы для ...
Добавлено: 18 сентября 2025 г.
Цифровой театр абсурда: могут ли нейросети поставить новую научную проблему перед психологией? Кейс-сравнение ChatGPT и DeepSeek
Хашутогова У. П., Березнер Т. А., Поддьяков А. Н., Новые психологические исследования 2025 № 3 С. 100–125
Бурное развитие технологий искусственного интеллекта не может оставить в стороне исследователей-психологов. Хотя нейросети начинают использоваться почти во всех сферах человеческой деятельности, остаются неясными границы их применимости, насколько создаваемый ими контент является действительно новым и вместе с тем полезным пользователю. Сторонники нейросетей заявляют о необходимости их тотального внедрения, скептики же подвергают серьезному сомнению почти все компетенции ...
Добавлено: 4 сентября 2025 г.
Interpreting Metaphorical Language: A Challenge to Artificial Intelligence
Skrynnikova I.V., Вестник Волгоградского государственного университета. Серия 2: Языкознание 2025 Vol. 23 No. 5 P. 99–107
Добавлено: 1 августа 2025 г.
Comparative Study of LoRA and Full Fine-Tuning in Large Language Models
E.V. Surikova, E.A. Sabidaeva, , in: Параллельные вычислительные технологии – XIX всероссийская конференция с международным участием, ПаВТ'2025, г. Москва, 8–10 апреля 2025 г. Короткие статьи и описания плакатов.: Челябинск: Издательский центр ЮУрГУ, 2025. P. 90–98.
Добавлено: 3 июля 2025 г.
HR-Tech Automation: A Case Study of Resume Design using GenAI Technologies
Suleykin, A., Babenko, R., Panfilov, P., , in: Proceedings of the 35th International DAAAM Virtual Symposium ''Intelligent Manufacturing & Automation''Vol. 1.: NY: DAAAM International Vienna, 2024. Ch. 20 P. 0157–0164.
Добавлено: 5 апреля 2025 г.
OmniDialog: A Multimodal Benchmark for Generalization Across Text, Visual, and Audio Modalities
Razzhigaev A., Kurkin M., Гончарова Е. Ф. и др., , in: Proceedings of the 2nd GenBench Workshop on Generalisation (Benchmarking) in NLP.: Association for Computational Linguistics, 2024. P. 183–195.
Добавлено: 21 февраля 2025 г.
MERA: A Comprehensive LLM Evaluation in Russian
Феногенова А. С., Chervyakov, A., Martynov N. и др., , in: Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) 2024Vol. 1: Long Papers.: Bangkok: Association for Computational Linguistics, 2024. P. 9920–9948.
Добавлено: 17 февраля 2025 г.
Your Transformer is Secretly Linear
Razzhigaev A., Mikhalchuk M., Гончарова Е. Ф. и др., , in: Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) 2024Vol. 1: Long Papers.: Bangkok: Association for Computational Linguistics, 2024. P. 5376–5384.
Добавлено: 17 февраля 2025 г.
The Shape of Learning: Anisotropy and Intrinsic Dimensions in Transformer-Based Models
Razzhigaev A., Mikhalchuk M., Гончарова Е. Ф. и др., , in: Findings of the Association for Computational Linguistics: EACL 2024.: Association for Computational Linguistics, 2024. P. 868–874.
Добавлено: 17 февраля 2025 г.
ChatGPT, текст, информация: критический анализ
Комашко М. Н., Труды по интеллектуальной собственности 2024 Т. 50 № 3 С. 118–128
В работе рассматриваются вопросы теории и практики, связанные с таким типом искусственного интеллекта, как большие языковые модели, в частности, ChatGPT. Основное внимание уделено сферам человеческой деятельности, в которых обмен информацией, изложенной в виде текста, имеет наибольшее значение: науке, образованию и журналистике (медиасфере). Описывается опыт взаимодействия пользователей с чат-ботами. Достаточно подробно рассматривается принцип работы больших языковых моделей. ...
Добавлено: 29 декабря 2024 г.
Automated Speech Act Annotation in a Russian Spoken Corpus Using Large Language Models: A Comparative Study
Шерстинова Т. Ю., Viktoria Firsanova, , in: PROCEEDING OF THE 36TH CONFERENCE OF FRUCT ASSOCIATION.: [б.и.], 2024. P. 912–920.
Добавлено: 29 ноября 2024 г.
A Novel Psychometrics-Based Approach to Developing Professional Competency Benchmark for Large Language Models
Карданова Е. Ю., Иванова А. Е., Тарасова К. В. и др., / Series cs.CL "Computation and Language (cs.CL); Artificial Intelligence (cs.AI)". 2024.
The era of large language models (LLM) raises questions not only about how to train models, but also about how to evaluate them. Despite numerous existing benchmarks, insufficient attention is often given to creating assessments that test LLMs in a valid and reliable manner. To address this challenge, we accommodate the Evidence-centered design (ECD) methodology ...
Добавлено: 5 ноября 2024 г.
Automatic generation of physics items with Large Language Models (LLMs)
Moses Oluoke Omopekunola, Elena Yu. Kardanova, REID (Research and Evaluation in Education) 2024 Vol. 10 No. 2 P. 168–185
Добавлено: 14 октября 2024 г.
GPT3RecBot: a universal chatbot recommender of movies, books and music in Telegram
Lashinin O., Быков К. В., Ананьева М. Е. и др., , in: Proceedings of the Fifth Knowledge-aware and Conversational Recommender Systems Workshop co-located with 17th ACM Conference on Recommender Systems (RecSys 2023)Vol. 3560.: CEUR Workshop Proceedings, 2023. P. 35–43.
Добавлено: 2 декабря 2023 г.
  • О ВЫШКЕ
  • Цифры и факты
  • Руководство и структура
  • Устойчивое развитие в НИУ ВШЭ
  • Преподаватели и сотрудники
  • Корпуса и общежития
  • Закупки
  • Обращения граждан в НИУ ВШЭ
  • Фонд целевого капитала
  • Противодействие коррупции
  • Сведения о доходах, расходах, об имуществе и обязательствах имущественного характера
  • Сведения об образовательной организации
  • Людям с ограниченными возможностями здоровья
  • Единая платежная страница
  • Работа в Вышке
  • ОБРАЗОВАНИЕ
  • Лицей
  • Довузовская подготовка
  • Олимпиады
  • Прием в бакалавриат
  • Вышка+
  • Прием в магистратуру
  • Аспирантура
  • Дополнительное образование
  • Центр развития карьеры
  • Бизнес-инкубатор ВШЭ
  • Образовательные партнерства
  • Обратная связь и взаимодействие с получателями услуг
  • НАУКА
  • Научные подразделения
  • Исследовательские проекты
  • Мониторинги
  • Диссертационные советы
  • Защиты диссертаций
  • Академическое развитие
  • Конкурсы и гранты
  • Внешние научно-информационные ресурсы
  • РЕСУРСЫ
  • Библиотека
  • Издательский дом ВШЭ
  • Книжный магазин «БукВышка»
  • Типография
  • Медиацентр
  • Журналы ВШЭ
  • Публикации
  • http://www.minobrnauki.gov.ru/
    Министерство науки и высшего образования РФ
  • https://edu.gov.ru/
    Министерство просвещения РФ
  • http://www.edu.ru
    Федеральный портал «Российское образование»
  • https://elearning.hse.ru/mooc
    Массовые открытые онлайн-курсы
  • НИУ ВШЭ1993–2026
  • Адреса и контакты
  • Условия использования материалов
  • Политика конфиденциальности
  • Правила применения рекомендательных технологий в НИУ ВШЭ
  • Карта сайта
Редактору