It’s All in the Heads: Using Attention Heads as a Baseline for Cross-Lingual Transfer in Commonsense Reasoning

Tikhonov A.; M. Ryabinin

doi:10.18653/v1/2021.findings-acl.310

АБВ
АБВ
АБВ

Обычная версия сайта

Приоритетные направления

по году

Тематика

Новости

15 мая 2026 г.

В НИУ ВШЭ разрабатывают нейросеть для сферы науки и инноваций

Исследователи НИУ ВШЭ учат большие языковые модели понимать русскоязычную научную терминологию, увеличивая при этом их энергоэффективность. Адаптированная модель работает в 2,7 раза быстрее и требует на 73% меньше памяти, чем исходная открытая модель, что позволяет запускать ее на более доступном оборудовании. Программа прошла государственную регистрацию.

15 мая 2026 г.

Стартовал совместный спецпроект бренд-медиа Вышки IQ Media и iFORA ИСИЭЗ

В мае 2026 года стартовал научно-популярный проект «Искусственный интеллект: технологии, данные и будущее», который стал результатом работы двух команд — проекта iFORA Института статистических исследований и экономики знаний НИУ ВШЭ и редакции бренд-медиа IQMedia. Медийно-аналитический спецпроект посвящен современному развитию искусственного интеллекта и аналитике больших данных.

14 мая 2026 г.

<a>Ученые ФКН ВШЭ представили работы в сфере ИИ и биоинформатики на ICLR 2026

Ученые Института искусственного интеллекта и цифровых наук факультета компьютерных наук ВШЭи студенты трека «ИИ360: Инженерия искусственного интеллекта» бакалаврской программы «Прикладная математика и информатика» приняли участие в международной конференции ICLR — одном из самых авторитетных мировых форумов в области машинного обучения и представления данных. В этом году конференция состоялась в Рио-де-Жанейро (Бразилия).

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!

Публикации

?

It’s All in the Heads: Using Attention Heads as a Baseline for Cross-Lingual Transfer in Commonsense Reasoning

P. 3534–3546.

Tikhonov A., Рябинин М. К.

Язык: английский

Полный текст

DOI

Текст на другом сайте

Ключевые слова: transformers commonsense reasoning multilingual natural language processing

В книге

Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021

Association for Computational Linguistics, 2021.

Multimodal graph, surface, and language-based model for protein protein interaction prediction

Артеага Мореано Б. Д., Червов Н. Р., Попцова М. С., Scientific Reports 2026 Vol. 16 No. 1 Article 4772

Добавлено: 4 февраля 2026 г.

GraphTyper: Вывод типов из графовой репрезентации кода посредством нейронных сетей

Арутюнов Г. А., Авдошин С. М., Труды Института системного программирования РАН 2024 Т. 36 № 4 С. 69–80

Несмотря на то, что программирование – это творческий процесс, достаточно много времени уходит на решение рутинных задач. Как и в других индустриях в сфере информационных технологий стремятся автоматизировать рутинные задачи. Во многих случаях применяются нейронные сети. Программирование не является исключением: Github заверяют, что уже около 30% кода написано при помощи Copilot. Этот инструмент основан на ...

Добавлено: 1 ноября 2024 г.

Analyzing the Robustness of Vision & Language Models

Ширнин А. А., Andreev N., Potapova S. и др., IEEE/ACM Transactions on Speech and Language Processing 2024 Vol. 32 P. 2751–2763

We present an approach to evaluate the robustness of pre-trained vision and language (V&L) models to noise in input data. Given a source image/text, we perturb it using standard computer vision (CV) / natural language processing (NLP) techniques and feed it to a V&L model. To track performance changes, we explore the problem of visual ...

Добавлено: 19 июля 2024 г.

Grammar in Language Models: BERT Study

Chistyakova K., Kazakova Tatiana, / NRU HSE. Series WP BRP "Linguistics". 2023. No. 115.

Добавлено: 29 ноября 2023 г.

CrowdChecked: Detecting Previously Fact-Checked Claims in Social Media

Hardalov M., Чернявский А. С., Koychev I. и др., , in: Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing (Volume 1: Long Papers).: Association for Computational Linguistics, 2022. P. 266–285.

Добавлено: 21 мая 2023 г.

Batch-Softmax Contrastive Loss for Pairwise Sentence Scoring Tasks

Чернявский А. С., Ильвовский Д. А., Kalinin P. и др., , in: Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL 2022).: Association for Computational Linguistics, 2022. P. 116–126.

Добавлено: 4 октября 2022 г.

Training Transformers Together

Борзунов А. А., Рябинин М. К., Dettmers T. и др., , in: Proceedings of the NeurIPS 2021 Competitions and Demonstrations Track.: PMLR, 2022. P. 335–342.

Добавлено: 27 июля 2022 г.

Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics

Association for Computational Linguistics, 2022.

Добавлено: 17 мая 2022 г.

Fine-Tuning Transformers: Vocabulary Transfer

Samenko I., Tikhonov A., Kozlovskii B. и др., / Series Computer Science "arxiv.org". 2021.

Добавлено: 17 января 2022 г.

Transformers: “The End of History” for Natural Language Processing?

Чернявский А. С., Ильвовский Д. А., Наков П., , in: Machine Learning and Knowledge Discovery in Databases. Research Track: European Conference, ECML PKDD 2021, Bilbao, Spain, September 13–17, 2021, Proceedings,* 3.: Springer, 2021. P. 677–693.

Добавлено: 12 ноября 2021 г.

LIORI at SemEval-2021 Task 8: Ask Transformer for measurements

Davletov A., Gordeev D., Nikolay Arefyev и др., , in: Proceedings of the 15th International Workshop on Semantic Evaluation (SemEval-2021).: Association for Computational Linguistics, 2021. P. 1249–1254.

Добавлено: 23 сентября 2021 г.