• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • A
  • A
  • A
  • A
  • A
Обычная версия сайта
  • RU
  • EN
  • Национальный исследовательский университет «Высшая школа экономики»
  • Публикации ВШЭ
  • Глава
  • It’s All in the Heads: Using Attention Heads as a Baseline for Cross-Lingual Transfer in Commonsense Reasoning
  • RU
  • EN
Расширенный поиск
Высшая школа экономики
Национальный исследовательский университет
Приоритетные направления
  • бизнес-информатика
  • государственное и муниципальное управление
  • гуманитарные науки
  • инженерные науки
  • компьютерно-математическое
  • математика
  • менеджмент
  • право
  • социология
  • экономика
по году
  • 2027
  • 2026
  • 2025
  • 2024
  • 2023
  • 2022
  • 2021
  • 2020
  • 2019
  • 2018
  • 2017
  • 2016
  • 2015
  • 2014
  • 2013
  • 2012
  • 2011
  • 2010
  • 2009
  • 2008
  • 2007
  • 2006
  • 2005
  • 2004
  • 2003
  • 2002
  • 2001
  • 2000
  • 1999
  • 1998
  • 1997
  • 1996
  • 1995
  • 1994
  • 1993
  • 1992
  • 1991
  • 1990
  • 1989
  • 1988
  • 1987
  • 1986
  • 1985
  • 1984
  • 1983
  • 1982
  • 1981
  • 1980
  • 1979
  • 1978
  • 1977
  • 1976
  • 1975
  • 1974
  • 1973
  • 1972
  • 1971
  • 1970
  • 1969
  • 1968
  • 1967
  • 1966
  • 1965
  • 1964
  • 1963
  • 1958
  • еще
Тематика
Новости
9 июля 2026 г.
При взгляде на свое лицо мужчины забывают обо всем
В эксперименте с участием 15 здоровых мужчин ученые НИУ ВШЭ проанализировали, как фазы сердечного цикла влияют на возбудимость моторной коры, когда человек смотрит на собственную фотографию или лица незнакомых людей. Исследователи обнаружили, что в случае с собственным изображением мозг слабее считывает сигналы сердца — их влияние на кору снижается, хотя ожидалось, что внимание к себе, наоборот, усилит чувствительность к внутренним сигналам тела. Исследование опубликовано в журнале Frontiers in Signal Processing.
9 июля 2026 г.
Новый метод НИУ ВШЭ и Т-Технологий повышает качество работы ИИ
Ученые из лаборатории научных исследований «Т-Технологий» и Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ разработали новый метод семплирования для моделей маскированной диффузии — G-Star+. Он помогает быстрее и качественнее исправлять ошибки во время генерации текста и кода за небольшое число шагов. Метод показал эффективность в задачах генерации текста и кода и может применяться там, где генеративным моделям нужно быстро и качественно создавать текст или код при ограниченных вычислительных ресурсах.
7 июля 2026 г.
ИИ в повседневной жизни: 6 сценариев для экономии времени
По данным ряда консалтинговых компаний, сотрудники тратят в среднем около четверти рабочего времени на обработку электронной почты и поиск информации. Нейросети закрывают простые, но времязатратные дела: суммируют длинные документы за секунды, генерируют черновики писем, структурируют заметки. Но, чтобы успешно автоматизировать рутину, нужно понимать, как встраивать в нее искусственный интеллект. С помощью экспертов факультета компьютерных наук ВШЭ разбираем шесть сценариев с конкретными промтами и инструментами, которые помогут сохранить вам силы.

 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!

Публикации
  • Книги
  • Статьи
  • Главы в книгах
  • Препринты
  • Верификация публикаций
  • Расширенный поиск
  • Правила использования материалов
  • Наука в ВШЭ

?

It’s All in the Heads: Using Attention Heads as a Baseline for Cross-Lingual Transfer in Commonsense Reasoning

P. 3534–3546.
Tikhonov A., Рябинин М. К.
Язык: английский
Полный текст
DOI
Текст на другом сайте
Ключевые слова: transformerscommonsense reasoningmultilingual natural language processing

В книге

Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021
Association for Computational Linguistics, 2021.
Похожие публикации
Automated detection of wolf howls using audio spectrogram transformers
Makarov N., Савченко А. В., Zemtsova I. и др., Scientific Reports 2025 Vol. 15 Article 26641
Добавлено: 16 июня 2026 г.
Multimodal graph, surface, and language-based model for protein protein interaction prediction
Артеага Мореано Б. Д., Червов Н. Р., Попцова М. С., Scientific Reports 2026 Vol. 16 No. 1 Article 4772
Добавлено: 4 февраля 2026 г.
GraphTyper: Вывод типов из графовой репрезентации кода посредством нейронных сетей
Арутюнов Г. А., Авдошин С. М., Труды Института системного программирования РАН 2024 Т. 36 № 4 С. 69–80
Несмотря на то, что программирование – это творческий процесс, достаточно много времени уходит на решение рутинных задач. Как и в других индустриях в сфере информационных технологий стремятся автоматизировать рутинные задачи. Во многих случаях применяются нейронные сети. Программирование не является исключением: Github заверяют, что уже около 30% кода написано при помощи Copilot. Этот инструмент основан на ...
Добавлено: 1 ноября 2024 г.
Analyzing the Robustness of Vision & Language Models
Ширнин А. А., Andreev N., Potapova S. и др., IEEE/ACM Transactions on Speech and Language Processing 2024 Vol. 32 P. 2751–2763
We present an approach to evaluate the robustness of pre-trained vision and language (V&L) models to noise in input data. Given a source image/text, we perturb it using standard computer vision (CV) / natural language processing (NLP) techniques and feed it to a V&L model. To track performance changes, we explore the problem of visual ...
Добавлено: 19 июля 2024 г.
Grammar in Language Models: BERT Study
Chistyakova K., Kazakova Tatiana, / NRU HSE. Series WP BRP "Linguistics". 2023. No. 115.
Добавлено: 29 ноября 2023 г.
CrowdChecked: Detecting Previously Fact-Checked Claims in Social Media
Hardalov M., Чернявский А. С., Koychev I. и др., , in: Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing (Volume 1: Long Papers).: Association for Computational Linguistics, 2022. P. 266–285.
Добавлено: 21 мая 2023 г.
Batch-Softmax Contrastive Loss for Pairwise Sentence Scoring Tasks
Чернявский А. С., Ильвовский Д. А., Kalinin P. и др., , in: Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL 2022).: Association for Computational Linguistics, 2022. P. 116–126.
Добавлено: 4 октября 2022 г.
Training Transformers Together
Борзунов А. А., Рябинин М. К., Dettmers T. и др., , in: Proceedings of the NeurIPS 2021 Competitions and Demonstrations Track.: PMLR, 2022. P. 335–342.
Добавлено: 27 июля 2022 г.
Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics
Association for Computational Linguistics, 2022.
Добавлено: 17 мая 2022 г.
Fine-Tuning Transformers: Vocabulary Transfer
Samenko I., Tikhonov A., Kozlovskii B. и др., / Series Computer Science "arxiv.org". 2021.
Добавлено: 17 января 2022 г.
Transformers: “The End of History” for Natural Language Processing?
Чернявский А. С., Ильвовский Д. А., Наков П., , in: Machine Learning and Knowledge Discovery in Databases. Research Track: European Conference, ECML PKDD 2021, Bilbao, Spain, September 13–17, 2021, Proceedings,* 3.: Springer, 2021. P. 677–693.
Добавлено: 12 ноября 2021 г.
LIORI at SemEval-2021 Task 8: Ask Transformer for measurements
Davletov A., Gordeev D., Nikolay Arefyev и др., , in: Proceedings of the 15th International Workshop on Semantic Evaluation (SemEval-2021).: Association for Computational Linguistics, 2021. P. 1249–1254.
Добавлено: 23 сентября 2021 г.
  • О ВЫШКЕ
  • Цифры и факты
  • Руководство и структура
  • Устойчивое развитие в НИУ ВШЭ
  • Преподаватели и сотрудники
  • Корпуса и общежития
  • Закупки
  • Обращения граждан в НИУ ВШЭ
  • Фонд целевого капитала
  • Противодействие коррупции
  • Сведения о доходах, расходах, об имуществе и обязательствах имущественного характера
  • Сведения об образовательной организации
  • Людям с ограниченными возможностями здоровья
  • Единая платежная страница
  • Работа в Вышке
  • ОБРАЗОВАНИЕ
  • Лицей
  • Довузовская подготовка
  • Олимпиады
  • Прием в бакалавриат
  • Вышка+
  • Прием в магистратуру
  • Аспирантура
  • Дополнительное образование
  • Центр развития карьеры
  • Бизнес-инкубатор ВШЭ
  • Образовательные партнерства
  • Обратная связь и взаимодействие с получателями услуг
  • НАУКА
  • Научные подразделения
  • Исследовательские проекты
  • Мониторинги
  • Диссертационные советы
  • Защиты диссертаций
  • Академическое развитие
  • Конкурсы и гранты
  • Внешние научно-информационные ресурсы
  • РЕСУРСЫ
  • Библиотека
  • Издательский дом ВШЭ
  • Книжный магазин «БукВышка»
  • Типография
  • Медиацентр
  • Журналы ВШЭ
  • Публикации
  • http://www.minobrnauki.gov.ru/
    Министерство науки и высшего образования РФ
  • https://edu.gov.ru/
    Министерство просвещения РФ
  • https://elearning.hse.ru/mooc
    Массовые открытые онлайн-курсы
  • НИУ ВШЭ1993–2026
  • Адреса и контакты
  • Условия использования материалов
  • Политика конфиденциальности
  • Правила применения рекомендательных технологий в НИУ ВШЭ
  • Карта сайта
Редактору