TAPE: Assessing Few-shot Russian Language Understanding

E. Taktasheva; Shavrina T.; Fenogenova A.; Shevelev D.; Katricheva N.; M. Tikhonova; Akhmetgareeva A.; Zinkevich O.; Bashmakova A.; Iordanskaia S.; Spiridonova A.; Kurenshchikova V.; Artemova E.; V. Mikhailov

doi:10.18653/v1/2022.findings-emnlp.183

?

TAPE: Assessing Few-shot Russian Language Understanding

P. 2472–2497.

Такташева Е. В., Shavrina T., Fenogenova A., Shevelev D., Katricheva N., Тихонова М. И., Akhmetgareeva A., Zinkevich O., Bashmakova A., Iordanskaia S., Spiridonova A., Kurenshchikova V., Artemova E., Михайлов В. Н.

Язык: английский

Полный текст

DOI

Текст на другом сайте

Ключевые слова: NLP language modeling benchmark

В книге

Findings of the Association for Computational Linguistics: EMNLP 2022

Association for Computational Linguistics, 2022.

Granular computing-based deep learning for text classification

Бехзадидуст Р., Mahan F., Izadkhah H., Information Sciences 2024 Vol. 652 Article 119746

Добавлено: 12 марта 2026 г.

HoTPP benchmark: Are we good at the long horizon events forecasting?

Karpukhin I., Шипилов Ф. А., Савченко А. В., Neurocomputing 2026 Vol. 672 Article 132771

Добавлено: 25 февраля 2026 г.

30th International Conference on Applications of Natural Language to Information Systems, NLDB 2025, Kanazawa, Japan, July 4–6, 2025, Proceedings, Part I. Natural Language Processing and Information Systems. (LNCS, volume 15836)

Springer, 2025.

Добавлено: 3 февраля 2026 г.

Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2021)

INCOMA Ltd, 2021.

Добавлено: 28 января 2026 г.

ComputAgeBench: Epigenetic Aging Clocks Benchmark

Kriukov D., Efimov E., Kuzmina E. и др., , in: KDD '25: Proceedings of the 31th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. Volume 2.: Association for Computing Machinery (ACM), 2025. P. 5560–5570.

Добавлено: 12 января 2026 г.

Proceedings of the 19th International Workshop on Semantic Evaluation (SemEval-2025)

Association for Computational Linguistics, 2025.

Добавлено: 17 ноября 2025 г.

LLM-Microscope: Uncovering the Hidden Role of Punctuation in Context Memory of Transformers

Anton R., Mikhalchuk M., Rahmatullaev T. и др., , in: Findings of the Association for Computational Linguistics: NAACL 2025.: Association for Computational Linguistics, 2025. P. 7757–7764.

Мы предлагаем методы количественной оценки того, как большие языковые модели (LLM) кодируют и хранят контекстную информацию, и показываем, что токены, обычно считающиеся второстепенными (например, детерминативы и знаки препинания), на деле несут неожиданно высокий объём контекста. В частности, удаление таких токенов — особенно стоп-слов, артиклей и запятых — стабильно ухудшает качество на MMLU и BABILong-4k, даже ...

Добавлено: 6 ноября 2025 г.

Исследования благополучия с помощью передовых методов обработки естественного языка (NLP): перспективы и ограничения

Воеводина Е. Ю., Современная зарубежная психология 2025 Т. 14 № 3 С. 172–181

Контекст и актуальность. Исследования благополучия столкнулись с противоречиями и ограничениями, проистекающими из ограничений метода психометрических самоотчетных шкал. Данные методы критикуются за низкую экологическую валидность, ограниченную информативность и трудности в операционализации комплексного конструкта благополучия. В то же время, стремительное развитие технологий обработки естественного языка (natural language processing, NLP) открывает новые возможности для преодоления этих ограничений. Цель. Провести обзор ...

Добавлено: 9 октября 2025 г.

Proceedings of the Third Workshop on Resources and Representations for Under-Resourced Languages and Domains (RESOURCEFUL-2025)

Tartu: University of Tartu Library, 2025.

Добавлено: 17 июля 2025 г.

Evaluating the Pragmatic Competence of Large Language Models in Detecting Mitigated and Unmitigated Types of Disagreement

Шульгинов В. А., Hasan Berkcan Şimşek, Sergei Kudriashov и др., , in: Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference “Dialogue” (2025)Issue 23.: [б.и.], 2025. P. 345–360.

В настоящем исследовании представлена методика оценки эффективности больших языковых моделей (БЯМ) в области выявления несогласия, включая широкий диапазон стратегий его выражения — от смягченных форм до явной вербальной агрессии. Особое внимание уделяется сложным случаям имплицитных проявлений иронии и сарказма, представляющим значительные трудности как для автоматического анализа, так и для межличностного общения. Экспериментальное тестирование БЯМ проводилось ...

Добавлено: 30 апреля 2025 г.

Bi-objective Workflow Scheduling in the Cloud: What is the Real State-of-the-Art?

Yury Semenov, Oleg Sukhoroslov, , in: Supercomputing. 10th Russian Supercomputing Days, RuSCDays 2024, Moscow, Russia, September 23–24, 2024, Revised Selected Papers, Part II* 2.: Springer, 2025. P. 20–31.

Добавлено: 25 апреля 2025 г.

OmniDialog: A Multimodal Benchmark for Generalization Across Text, Visual, and Audio Modalities

Razzhigaev A., Kurkin M., Гончарова Е. Ф. и др., , in: Proceedings of the 2nd GenBench Workshop on Generalisation (Benchmarking) in NLP.: Association for Computational Linguistics, 2024. P. 183–195.

Добавлено: 21 февраля 2025 г.

MERA: A Comprehensive LLM Evaluation in Russian

Феногенова А. С., Chervyakov, A., Martynov N. и др., , in: Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) 2024Vol. 1: Long Papers.: Bangkok: Association for Computational Linguistics, 2024. P. 9920–9948.

Добавлено: 17 февраля 2025 г.

RuBLiMP: Russian Benchmark of Linguistic Minimal Pairs

Taktasheva E., Бажуков М. О., Koncha K. и др., , in: Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing.: Association for Computational Linguistics, 2024. P. 9268–9299.

Добавлено: 2 января 2025 г.