• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • A
  • A
  • A
  • A
  • A
Обычная версия сайта
  • RU
  • EN
  • Национальный исследовательский университет «Высшая школа экономики»
  • Публикации ВШЭ
  • Глава
  • MERA: A Comprehensive LLM Evaluation in Russian
  • RU
  • EN
Расширенный поиск
Высшая школа экономики
Национальный исследовательский университет
Приоритетные направления
  • бизнес-информатика
  • государственное и муниципальное управление
  • гуманитарные науки
  • инженерные науки
  • компьютерно-математическое
  • математика
  • менеджмент
  • право
  • социология
  • экономика
по году
  • 2028
  • 2027
  • 2026
  • 2025
  • 2024
  • 2023
  • 2022
  • 2021
  • 2020
  • 2019
  • 2018
  • 2017
  • 2016
  • 2015
  • 2014
  • 2013
  • 2012
  • 2011
  • 2010
  • 2009
  • 2008
  • 2007
  • 2006
  • 2005
  • 2004
  • 2003
  • 2002
  • 2001
  • 2000
  • 1999
  • 1998
  • 1997
  • 1996
  • 1995
  • 1994
  • 1993
  • 1992
  • 1991
  • 1990
  • 1989
  • 1988
  • 1987
  • 1986
  • 1985
  • 1984
  • 1983
  • 1982
  • 1981
  • 1980
  • 1979
  • 1978
  • 1977
  • 1976
  • 1975
  • 1974
  • 1973
  • 1972
  • 1971
  • 1970
  • 1969
  • 1968
  • 1967
  • 1966
  • 1965
  • 1964
  • 1963
  • 1958
  • еще
Тематика
Новости
23 сентября 2026 г.
<a>В НИУ ВШЭ испытали робота с ИИ для распознавания окружающей среды
Инженеры и исследователи Института робототехнических систем НИУ ВШЭ провели первые испытания нейросетевой модели для распознавания среды непосредственно на роботе-собаке. Робот передвигался по зданию НИУ ВШЭ на Покровке, а также по Покровскому бульвару, анализируя окружающую обстановку и определяя, в какой сцене и локации он находится.
21 сентября 2026 г.
Ученые НИУ ВШЭ показали, что врожденные нарушения моторики влияют на развитие мозга
Исследователи из Института когнитивных нейронаук НИУ ВШЭ обобщили результаты своих предыдущих исследований, посвященных особенностям развития мозга у детей с акушерским параличом плечевого сплетения и артрогрипозом. Анализ показал, что нарушение моторики в раннем возрасте не только ведет к недостатку двигательного опыта, но и влияет на память, категориальное мышление и обработку информации. Работа опубликована в журнале Frontiers in Psychology.
22 сентября 2026 г.
Как россияне взаимодействуют с ИИ при поиске информации в интернете
Школа коммуникаций НИУ ВШЭ и Online Market Intelligence провели исследование пользовательского поискового опыта в российском сегменте интернета. Как показали результаты, пользователи в России уже воспринимают ИИ-ответ в выдаче как естественную часть поиска и используют его наравне с привычным списком ссылок. При этом на рынке самостоятельных нейросетей (отдельных чат‑ботов) уверенно лидирует Алиса AI от Яндекса  —  ее регулярно используют 40 % опрошенных.

 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!

Публикации
  • Книги
  • Статьи
  • Главы в книгах
  • Препринты
  • Верификация публикаций
  • Расширенный поиск
  • Правила использования материалов
  • Наука в ВШЭ

?

MERA: A Comprehensive LLM Evaluation in Russian

P. 9920–9948.
Феногенова А. С., Chervyakov, A., Martynov N., Kozlova A., Тихонова М. И., Akhmetgareeva A., Emelyanov A., Shevelev D., Lebedev P., Sinev L., Isaeva U., Kolomeytseva K., Moskovskiy D., Гончарова Е. Ф., Savushkin N., Mikhailova P., Minaeva A., Dimitrov D., Panchenko A., Markov S.
Язык: английский
DOI
Текст на другом сайте
Ключевые слова: LLMbenchmark

В книге

Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) 2024
Vol. 1: Long Papers. , Bangkok: Association for Computational Linguistics, 2024.
Похожие публикации
Critical Success Factors for GenAI Digital Products: From Technology–Market Duality to a Technology–Market–Ethics Triad
Sorokin I., Текич Ж., Technology in Society 2026 Vol. 88 Article 103456
Добавлено: 23 сентября 2026 г.
An LLM-Based Approach for Creating Multi-agent Systems
Резуник Л., Александров Д. В., Mikhail Prozorskiy, , in: Intelligent Decision Technologies. Proceedings of the 17th KES-IDT 2025 ConferenceVol. 450.: Springer, 2026. P. 81–91.
Добавлено: 14 сентября 2026 г.
Local Fault-Tolerant Routing in 3D Mesh NoCs using Single-Hop Rollback
Edward R. Rzaev, Aleksandr Y. Romanov, Andrey M. Sukhov, IEEE Access 2026 Vol. 14 P. 112184–112201
Добавлено: 23 июля 2026 г.
Proceedings of the 4th Workshop on NLP for Music and Audio (NLP4MusA 2026)
Бузаев Ф. А., Mullakhmetov R., Bogachev R. и др., Association for Computational Linguistics, 2026.
Добавлено: 22 июня 2026 г.
B3Emo: Quantifying Affect as a Double-Edged Sword in Strategic LLM Interactions
Stepin A., Mozikov M., Kabanov A. и др., IEEE Access 2026 Vol. 14 P. 48127–48144
Добавлено: 16 июня 2026 г.
RussianSuperGLUE: A Russian Language Understanding Evaluation Benchmark
Shavrina T., Феногенова А. С., Emelyanov A. и др., , in: Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP).: Association for Computational Linguistics, 2020. P. 4717–4726.
Добавлено: 14 июня 2026 г.
Анализ культурных референций в творчестве А. Вознесенского: цифровое исследование имен персоналий
Тюрякова-Матвеева Д. В., Цифровые гуманитарные исследования 2026 № 1 С. 4–26
Статья исследует культурные референции в творчестве Андрея Вознесенского путем анализа упоминаемых им персоналий. Обработано 1678 произведений, включая поэзию, прозу и ранние неопубликованные стихотворения. Методы NER, основанные на инструментах Natasha, spaCy и LLM Grok, позволили изучить частоту упоминания известных лиц и их связь с жанром произведения. Определены ключевые авторы Вознесенского (Пастернак, Пушкин, Маяковский), выявлены особенности жанра ...
Добавлено: 31 мая 2026 г.
Optimizing Computational Infrastructure for Large Language Models in Bioinformatics: A Case Study
Бекназаров Н. С., , in: Parallel Computational Technologies, 19th International Conference, PCT 2025, Moscow, Russia, April 8–10, 2025, Revised Selected Papers. (CCIS, volume 2891)Vol. 2891.: Springer, 2026. P. 3–16.
Добавлено: 19 мая 2026 г.
HoTPP benchmark: Are we good at the long horizon events forecasting?
Karpukhin I., Шипилов Ф. А., Савченко А. В., Neurocomputing 2026 Vol. 672 Article 132771
Добавлено: 25 февраля 2026 г.
When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs
Seleznyov M., Чайчук М. В., Ershov G. и др., , in: Findings of the Association for Computational Linguistics: EMNLP 2025.: Association for Computational Linguistics, 2025. P. 20370–20385.
Добавлено: 3 февраля 2026 г.
Measuring Chemical LLM robustness to molecular representations: a SMILES variation-based framework
Ganeeva V., Khrabrov K., Kadurin A. и др., Journal of Cheminformatics 2025 No. 17 Article 164
Добавлено: 3 февраля 2026 г.
ComputAgeBench: Epigenetic Aging Clocks Benchmark
Kriukov D., Efimov E., Kuzmina E. и др., , in: KDD '25: Proceedings of the 31th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. Volume 2.: Association for Computing Machinery (ACM), 2025. P. 5560–5570.
Добавлено: 12 января 2026 г.
Aspect-Based Sentiment Analysis Using Large Language Models on Museum Visitor Reviews
Anastasia V. Kolmogorova, Elizaveta R. Kulikova, Vladislav V. Lobanov, Supercomputing Frontiers and Innovations 2025 Vol. 12 No. 3 P. 121–140
Добавлено: 30 ноября 2025 г.
AutoJudge: Judge Decoding Without Manual Annotation
Roman Garipov, Fedor Velikonivtsev, Ivan Ermakov и др., , in: 39th Conference on Neural Information Processing Systems (NeurIPS 2025).: NeurIPS, 2025. P. 94605–94642.
Добавлено: 6 ноября 2025 г.
Strategizing with AI: Insights from a Beauty Contest Experiment
Iuliia Alekseenko, Дагаев Д. А., Sofiia Paklina и др., Journal of Economic Behavior and Organization 2025 Vol. 240 Article 107330
Добавлено: 6 ноября 2025 г.
LLM-Microscope: Uncovering the Hidden Role of Punctuation in Context Memory of Transformers
Anton R., Mikhalchuk M., Rahmatullaev T. и др., , in: Findings of the Association for Computational Linguistics: NAACL 2025.: Association for Computational Linguistics, 2025. P. 7757–7764.
Мы предлагаем методы количественной оценки того, как большие языковые модели (LLM) кодируют и хранят контекстную информацию, и показываем, что токены, обычно считающиеся второстепенными (например, детерминативы и знаки препинания), на деле несут неожиданно высокий объём контекста. В частности, удаление таких токенов — особенно стоп-слов, артиклей и запятых — стабильно ухудшает качество на MMLU и BABILong-4k, даже ...
Добавлено: 6 ноября 2025 г.
Исследования благополучия с помощью передовых методов обработки естественного языка (NLP): перспективы и ограничения
Воеводина Е. Ю., Современная зарубежная психология 2025 Т. 14 № 3 С. 172–181
Контекст и актуальность. Исследования благополучия столкнулись с противоречиями и ограничениями, проистекающими из ограничений метода психометрических самоотчетных шкал. Данные методы критикуются за низкую экологическую валидность, ограниченную информативность и трудности в операционализации комплексного конструкта благополучия. В то же время, стремительное развитие технологий обработки естественного языка (natural language processing, NLP) открывает новые возможности для преодоления этих ограничений. Цель. Провести обзор ...
Добавлено: 9 октября 2025 г.
Оценка моделей LLM по степени готовности решать задачи управления в области ESG
Сторчевой М. А., Мыльников Л. А., Чернышев В. В. и др., / SSRN. Серия "Working Papers". 2025.
Внимание к охране природы принимает все большую значимость для бизнеса с одной стороны в связи с ужесточением в природоохранном законодательстве, а с другой в связи с использованием ESG рейтингов при принятии решений о коммерческой деятельности компаний. Составление рейтинга LLM систем, способных оказывать консультационные услуги в области природоохраны и ESG, позволяет осуществить выбор такой системы для ...
Добавлено: 18 сентября 2025 г.
Цифровой театр абсурда: могут ли нейросети поставить новую научную проблему перед психологией? Кейс-сравнение ChatGPT и DeepSeek
Хашутогова У. П., Березнер Т. А., Поддьяков А. Н., Новые психологические исследования 2025 № 3 С. 100–125
Бурное развитие технологий искусственного интеллекта не может оставить в стороне исследователей-психологов. Хотя нейросети начинают использоваться почти во всех сферах человеческой деятельности, остаются неясными границы их применимости, насколько создаваемый ими контент является действительно новым и вместе с тем полезным пользователю. Сторонники нейросетей заявляют о необходимости их тотального внедрения, скептики же подвергают серьезному сомнению почти все компетенции ...
Добавлено: 4 сентября 2025 г.
Interpreting Metaphorical Language: A Challenge to Artificial Intelligence
Skrynnikova I.V., Вестник Волгоградского государственного университета. Серия 2: Языкознание 2025 Vol. 23 No. 5 P. 99–107
Добавлено: 1 августа 2025 г.
  • О ВЫШКЕ
  • Цифры и факты
  • Руководство и структура
  • Устойчивое развитие в НИУ ВШЭ
  • Преподаватели и сотрудники
  • Корпуса и общежития
  • Закупки
  • Обращения граждан в НИУ ВШЭ
  • Фонд целевого капитала
  • Противодействие коррупции
  • Сведения о доходах, расходах, об имуществе и обязательствах имущественного характера
  • Сведения об образовательной организации
  • Людям с ограниченными возможностями здоровья
  • Единая платежная страница
  • Работа в Вышке
  • ОБРАЗОВАНИЕ
  • Лицей
  • Довузовская подготовка
  • Олимпиады
  • Прием в бакалавриат
  • Вышка+
  • Прием в магистратуру
  • Аспирантура
  • Дополнительное образование
  • Центр развития карьеры
  • Бизнес-инкубатор ВШЭ
  • Образовательные партнерства
  • Обратная связь и взаимодействие с получателями услуг
  • НАУКА
  • Научные подразделения
  • Исследовательские проекты
  • Мониторинги
  • Диссертационные советы
  • Защиты диссертаций
  • Академическое развитие
  • Конкурсы и гранты
  • Внешние научно-информационные ресурсы
  • РЕСУРСЫ
  • Библиотека
  • Издательский дом ВШЭ
  • Книжный магазин «БукВышка»
  • Типография
  • Медиацентр
  • Журналы ВШЭ
  • Публикации
  • http://www.minobrnauki.gov.ru/
    Министерство науки и высшего образования РФ
  • https://edu.gov.ru/
    Министерство просвещения РФ
  • https://elearning.hse.ru/mooc
    Массовые открытые онлайн-курсы
  • НИУ ВШЭ1993–2026
  • Адреса и контакты
  • Условия использования материалов
  • Политика обработки персональных данных
  • Правила применения рекомендательных технологий в НИУ ВШЭ
  • Карта сайта
Редактору