Correcting or Rewriting? An Expert Evaluation of LLM-Based GEC on Academic Learner Data

P. 1–10.

Копылова Е. В., Цегоева О. Г., Берлин В. А., Выренкова А. С., Кувшинская Ю. М.

Данная статья посвящена исследованию того, как большие языковые модели исправляют сложные
грамматические ошибки в академических учебных текстах на русском языке. В отличие от традиционныхGEC-систем, которые руководствуются принципом минимального исправления, большие языковые модели(LLM) часто применяют генеративные стратегии переписывания, которые могут улучшить восприятие
текста, однако появляется риск гиперкоррекции структуры и семантических изменений. Мы представляем
новый экспертный бенчмарк, основанный на русском учебном корпусе из 3,1 млн слов, и создаем оценочную
систему, аннотированную по типу ошибки и сложности.Мы предлагаем систему оценивания, основанную на экспертных суждениях и сочетающую в себе
количественный анализ, исследование изменения структуры и слепое попарное сравнение. Результаты
выявляют баланс между минимальными исправлениями и генеративным подходом LLM. Это оказывает
прямое влияние на оценивание, так как референсные метрики могут недооценивать структурную
гиперкоррекцию и не учитывать разницу в подходах к исправлению.

Ключевые слова: система оценки, учебный корпус, Learner Corpus(LC), evaluation framework, GEC, LLMs, LLM, Russian academic writing, GEC, русское академическое письмо

ПУБЛИКАЦИЯ ПОДГОТОВЛЕНА ПО РЕЗУЛЬТАТАМ ПРОЕКТА: Языковое и когнитивное многообразие в формальных моделях, компьютерных инструментах и образовательных ресурсах (2025)

В книге

Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной международной конференции «Диалог». Выпуск 24.

Issue 24. , M.: Max press, 2026.