Решение дифференциальных уравнений с помощью языковых моделей из коробки: потенциал небольших LLM в математике

Доклады Российской академии наук. Математика, информатика, процессы управления (ранее - Доклады Академии Наук. Математика). 2025. Т. 527. С. 311–319.

Кольцов С. Н., Игнатенко В. В., Сурков А. Ю., Захаров В. О.

В данной работе рассматривается способность малых рассуждающих языковых моделей к построению аналитических решений дифференциальных уравнений. Компьютерные эксперименты проводятся на таких моделях, как DeepSeek-R1-Distill-Qwen-1.5B, Qwen2.5-1.5B и Open-Reasoner-Zero-1.5B. Для извлечения финального ответа из рассуждений моделей используется постобработка на основе двух языковых моделей – Qwen2.5.latest и llama3.2.latest. Затем извлеченные ответы сравниваются с эталонными решениями с помощью метрики BLEU. Наши результаты показали, что в среднем модель Open-Reasoner-Zero-1.5B демонстрирует лучшие результаты, и наивысшие значения BLEU (0.978) она достигает для однородных уравнений второго порядка.

Ключевые слова: дифференциальные уравнения, малые языковые модели, Qwen2.5-1.5b, Open-Reasoner-Zero-1.5b, DeepSeek-R1-Distill-Qwen-1.5b