Batch-Softmax Contrastive Loss for Pairwise Sentence Scoring Tasks

Несмотря на то, что программирование – это творческий процесс, достаточно много времени уходит на решение рутинных задач. Как и в других индустриях в сфере информационных технологий стремятся автоматизировать рутинные задачи. Во многих случаях применяются нейронные сети. Программирование не является исключением: Github заверяют, что уже около 30% кода написано при помощи Copilot. Этот инструмент основан на ...

Добавлено: 1 ноября 2024 г.

Analyzing the Robustness of Vision & Language Models

Ширнин А. А., Andreev N., Potapova S. и др., IEEE/ACM Transactions on Speech and Language Processing 2024 Vol. 32 P. 2751–2763

We present an approach to evaluate the robustness of pre-trained vision and language (V&L) models to noise in input data. Given a source image/text, we perturb it using standard computer vision (CV) / natural language processing (NLP) techniques and feed it to a V&L model. To track performance changes, we explore the problem of visual ...

Добавлено: 19 июля 2024 г.

Grammar in Language Models: BERT Study

Chistyakova K., Kazakova Tatiana, / NRU HSE. Series WP BRP "Linguistics". 2023. No. 115.

Добавлено: 29 ноября 2023 г.

CrowdChecked: Detecting Previously Fact-Checked Claims in Social Media

Hardalov M., Чернявский А. С., Koychev I. и др., , in: Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing (Volume 1: Long Papers).: Association for Computational Linguistics, 2022. P. 266–285.

Добавлено: 21 мая 2023 г.

Training Transformers Together

Борзунов А. А., Рябинин М. К., Dettmers T. и др., , in: Proceedings of the NeurIPS 2021 Competitions and Demonstrations Track.: PMLR, 2022. P. 335–342.

Добавлено: 27 июля 2022 г.

Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics

Association for Computational Linguistics, 2022.

Добавлено: 17 мая 2022 г.

Fine-Tuning Transformers: Vocabulary Transfer

Samenko I., Tikhonov A., Kozlovskii B. и др., / Series Computer Science "arxiv.org". 2021.

Добавлено: 17 января 2022 г.

Transformers: “The End of History” for Natural Language Processing?

Чернявский А. С., Ильвовский Д. А., Наков П., , in: Machine Learning and Knowledge Discovery in Databases. Research Track: European Conference, ECML PKDD 2021, Bilbao, Spain, September 13–17, 2021, Proceedings,* 3.: Springer, 2021. P. 677–693.

Добавлено: 12 ноября 2021 г.

It’s All in the Heads: Using Attention Heads as a Baseline for Cross-Lingual Transfer in Commonsense Reasoning

Tikhonov A., Рябинин М. К., , in: Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021.: Association for Computational Linguistics, 2021. P. 3534–3546.

Добавлено: 30 сентября 2021 г.

LIORI at SemEval-2021 Task 8: Ask Transformer for measurements

Davletov A., Gordeev D., Nikolay Arefyev и др., , in: Proceedings of the 15th International Workshop on Semantic Evaluation (SemEval-2021).: Association for Computational Linguistics, 2021. P. 1249–1254.

Добавлено: 23 сентября 2021 г.