ML²B: Benchmarking LLMs on Cross-Lingual ML Pipeline Generation

E. Trofimova; Shamina Z.; Selifanova M.; Zaitsev A.; Savchuk R.; M. Minets; Ozerova D.; Sataev E.; Zuenko D.; A. Ustyuzhanin

?

ML²B: Benchmarking LLMs on Cross-Lingual ML Pipeline Generation

Трофимова Е. А., Shamina Z., Selifanova M., Zaitsev A., Savchuk R., Минец М. В., Ozerova D., Sataev E., Zuenko D., Устюжанин А. Е.

Язык: английский

Полный текст

Текст на другом сайте

Ключевые слова: code generation benchmark dataset Large Language Models Multilingual Machine Learning Сross-lingual representation learning Machine Learning work-flows

В книге

Proceedings of the Generative Code Intelligence Workshop (GeCoIn 2026), co-located with the 35th International Joint Conference on Artificial Intelligence (IJCAI-ECAI 2026)

Vol. 4238. , CEUR-WS.org, 2026.

EdFitter: a hybrid course recommendation system using large language models

Sergei Koltcov, Рюмин Д. А., Alexandr Axyonov и др., PeerJ Computer Science 2026 Article 12:e4141

Добавлено: 10 ноября 2026 г.

PrimeKV: Preserving critical KV cache without attention scores for long-context inference

Чжан Ч., Ильвовский Д. А., Neurocomputing 2027 Vol. 710

Добавлено: 5 ноября 2026 г.

Amplifying Latent Safety in Large Language Models via Gated Activation Steering

Roman Prosvirnin, Suslov A., Aleksei Soldatov и др., Computation 2026 Vol. 14 No. 10 Article 261

Добавлено: 27 октября 2026 г.

A Reproducible Microscopy Acquisition Pipeline and Microscopy-Aware Attention for Classification, Detection, and Segmentation of Microorganisms

Aleksei Samarin, Назаренко А. А., Nazarenko D. и др., Machine Learning and Knowledge Extraction 2026 Vol. 8 No. 10 Article 330

Добавлено: 14 октября 2026 г.

JavaCapsule: Итеративная генерация и отладка Java-кода на основе структурированной обратной связи

Александров Д. В., Василевский В. И., Резуник Л. и др., Труды Института системного программирования РАН 2026 Т. 38 № 5 С. 73–90

Ограничения при выполнении задач, требующих точного извлечения информации из сверхдлинных последовательностей, приводят к снижению качества генерации и отладки кода крупных объектно-ориентированных систем, характеризующихся сложными межклассовыми зависимостями и необходимостью анализа длинных трассировок выполнения, превышающих размеры стандартных контекстных окон. Предлагается технология JavaCapsule для генерации и отладки Java-кода, реализующая итеративную отладку на основе структурированной обратной связи, включающей результаты ...

Добавлено: 12 октября 2026 г.

Improving Differential Equation Solving in Compact Language Models via Activation Steering and Reinforcement Learning

Сурков А. Ю., Игнатенко В. В., Кольцов С. Н., Computers, Materials and Continua 2026 Vol. 88 No. 3 Article 74

Добавлено: 8 июля 2026 г.

Artificial intelligence in the software development life cycle: A systematic review of operational efficiency evidence (2023–2026)

Окусков И. С., MULTIDISCIPLINARY REVIEWS 2027 Vol. 10 No. 4

Добавлено: 8 июля 2026 г.

Проектирование инструментов визуализации данных на основе интеграции возможностей предметно-ориентированного моделирования и генеративного искусственного интеллекта

Джейранян А. Д., Ларионова Я. А., Лядова Л. Н., В кн.: ГрафиКон 2025 : материалы 35-й Международной конференции по компьютерной графике и машинному зрению (Россия, Йошкар-Ола, 30 сентября – 2 октября 2025 г.).: Йошкар-Ола: Поволжский государственный технологический университет, 2025. С. 353–366.

Аннотация. Средства визуализации данных представляют собой ключевые инструменты аналитиков, облегчающие выявление зависимостей, тенденций и закономерностей. Эти средства находят применение у широкого круга пользователей (аналитиков, учёных, руководителей предприятий, менеджеров, преподавателей и специалистов других областей, где точное и понятное представление информации критически важно для повышения эффективности анализа данных). Существующие инструменты визуализации ограничивают возможности кастомизации, предлагают лишь базовые ...

Добавлено: 5 мая 2026 г.

COALA: Numerically Stable and Efficient Framework for Context-Aware Low-Rank Approximation

Паркина У. Р., Рахуба М. В., , in: 39th Conference on Neural Information Processing Systems (NeurIPS 2025).: NeurIPS, 2025. P. 71014–71041.

Добавлено: 29 апреля 2026 г.

Generating and Debugging Java Code using LLMs based on Associative Recurrent Memory

Василевский В. И., Александров Д. В., Proceedings of the Institute for System Programming of the RAS 2025 Vol. 37 No. 5 P. 173–182

Автоматическая генерация кода большими языковыми моделями (LLM) достигла значительных успехов, однако все еще сталкивается с проблемами при работе со сложными и объемными кодовыми базами, особенно на таких языках, как Java. Ограничения контекстного окна LLM и сложность отладки сгенерированного кода являются ключевыми препятствиями. В данной статье представлен подход, направленный на улучшение генерации и отладки Java-кода. Мы ...

Добавлено: 26 декабря 2025 г.

Less is More: Instructed Text Simplification for People with Aphasia

Колмогорова А. В., Anastasia Margolina, Telnova A. и др., Aphasiology 2026

Добавлено: 12 ноября 2025 г.

FRUGAL: Memory-Efficient Optimization by Reducing State Overhead for Scalable Training

Zmushko P., Безносиков А. Н., Takáč M. и др., , in: Volume 267: International Conference on Machine Learning, 13-19 July 2025, Vancouver Convention Center, Vancouver, CanadaVol. 267.: [б.и.], 2025. P. 80708–80739.

Добавлено: 10 ноября 2025 г.

Hogwild! Inference: Parallel LLM Generation via Concurrent Attention

Rodionov G., Roman Garipov, Alina Shutova и др., , in: 39th Conference on Neural Information Processing Systems (NeurIPS 2025).: NeurIPS, 2025. P. 46592–46633.

Добавлено: 6 ноября 2025 г.

Гендерные различия в игре диктатора: сравнение поведения больших языковых моделей и людей

Паршаков П. А., Паклина С. Н., Маткин Н. А. и др., Вестник Пермского университета. Серия: Экономика 2026 Т. 21 № 1 С. 42–57

Введение. Большие языковые модели (LLM) всё активнее используются в социальных науках для имитации поведения участников экспериментов и анализа норм кооперации и справедливости. Однако остаётся открытым вопрос, способны ли они воспроизводить социальные асимметрии, включая гендерные различия. Цель. Работа направлена на проверку того, воспроизводят ли LLM гендерные различия в игре «Диктатор» и каким образом текстовые объяснения решений ...

Добавлено: 27 октября 2025 г.

Сравнительный анализ поведения больших языковых моделей и людей в игре «Диктатор»

Шенкман Е. А., Паршаков П. А., Маткин Н. А., Журнал Новой экономической ассоциации 2026 № 2(71) С. 177–203

В статье анализируется поведение больших языковых моделей (LLM) в игре «Диктатор»; сравнение проводилось с результатами ранее проведённых лабораторных поведенческих экспериментов с участием людей. В работе рассматриваются модификации базовой игры, включающие возможность изъятия ресурсов у оппонента, а также введение производственной фазы. Для экспериментов были отобраны десять LLM, среди которых как международные, так и российские разработки. Полученные ...

Добавлено: 27 октября 2025 г.

Large Language Model Failures in Higher Education: Causes and Prevention

Andrei A. Ternikov, COMPUTER 2025 Vol. 58 No. 11 P. 74–83

Добавлено: 31 июля 2025 г.

A graph-based approach to closed-domain natural language generation

Victoria I. Firsanova, Research Result. Theoretical and Applied Linguistics 2024 Vol. 10 No. 3 P. 135–167

Обработка естественного языка на основе графов в последние годы становится актуальной благодаря развитию больших языковых моделей и генерации, дополненной информационным поиском. Большие языковые модели - это сложные алгоритмы, которые распознают многочисленные задачи обработки естественного языка путем анализа инструкций пользователей на естественном языке. Однако их промышленное использование вызывает сомнения из-за таких этических проблем, как создание ложной ...

Добавлено: 12 июля 2025 г.

Advancing Sequential Manga Colorization for AR Through Data Synthesis

Голядкин М. Ю., Saraev S., Макаров И. А., IEEE Access 2025 Vol. 13 P. 7526–7537

Добавлено: 29 апреля 2025 г.