• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • A
  • A
  • A
  • A
  • A
Обычная версия сайта
  • RU
  • EN
  • Национальный исследовательский университет «Высшая школа экономики»
  • Публикации ВШЭ
  • Статьи
  • Fighting Evaluation Inflation: Concentrated Datasets for Grammatical Error Correction
  • RU
  • EN
Расширенный поиск
Высшая школа экономики
Национальный исследовательский университет
Приоритетные направления
  • бизнес-информатика
  • государственное и муниципальное управление
  • гуманитарные науки
  • инженерные науки
  • компьютерно-математическое
  • математика
  • менеджмент
  • право
  • социология
  • экономика
по году
  • 2027
  • 2026
  • 2025
  • 2024
  • 2023
  • 2022
  • 2021
  • 2020
  • 2019
  • 2018
  • 2017
  • 2016
  • 2015
  • 2014
  • 2013
  • 2012
  • 2011
  • 2010
  • 2009
  • 2008
  • 2007
  • 2006
  • 2005
  • 2004
  • 2003
  • 2002
  • 2001
  • 2000
  • 1999
  • 1998
  • 1997
  • 1996
  • 1995
  • 1994
  • 1993
  • 1992
  • 1991
  • 1990
  • 1989
  • 1988
  • 1987
  • 1986
  • 1985
  • 1984
  • 1983
  • 1982
  • 1981
  • 1980
  • 1979
  • 1978
  • 1977
  • 1976
  • 1975
  • 1974
  • 1973
  • 1972
  • 1971
  • 1970
  • 1969
  • 1968
  • 1967
  • 1966
  • 1965
  • 1964
  • 1963
  • 1958
  • еще
Тематика
Новости
18 ноября 2026 г.
«Наука дает мне возможность видеть красоту»
Мария Губина учится в магистратуре факультета математики НИУ ВШЭ и занимается теорией узлов. В интервью проекту «Молодые ученые Вышки» она рассказала о «числе Эрдёша», математических закономерностях вокруг нас и о том, почему ученым стоит научиться печь тортики.
17 ноября 2026 г.
Ученые НИУ ВШЭ разработали метод для обнаружения неисправностей систем охлаждения ЦОД
Исследователи НИУ ВШЭ и Уральского федерального университета разработали метод на основе искусственного интеллекта, который выявляет постепенные утечки хладагента и загрязнение теплообменников в системах охлаждения центров обработки данных. Новая модель учитывает физические связи между элементами холодильного контура, что позволяет выявлять неисправности на ранних стадиях. Результаты опубликованы в журнале IEEE Transactions on Industry Applications.
13 ноября 2026 г.
НИУ ВШЭ и ИФТТ РАН заключили соглашение о создании совместной лаборатории
Церемония подписания соглашения о создании Лаборатории экспериментальных исследований и применений новых функциональных материалов состоялась 11 ноября в здании НИУ ВШЭ на Старой Басманной улице, где расположен факультет физики. Подписи под документом поставили ректор НИУ ВШЭ Никита Анисимов и врио директора Института физики твердого тела им. Ю.А. Осипьяна (ИФТТ) РАН Ирина Ибрагимова.

 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!

Публикации
  • Книги
  • Статьи
  • Главы в книгах
  • Препринты
  • Верификация публикаций
  • Расширенный поиск
  • Правила использования материалов
  • Наука в ВШЭ

?

Fighting Evaluation Inflation: Concentrated Datasets for Grammatical Error Correction

Journal of Language and Education. 2024. Vol. 10. No. 4. P. 112–129.
Vladimir Starchenko, Darya Kharlamova, Elizaveta Klykova, Anastasia Shavrina, Aleksey Starchenko, Olga Vinogradova, Olga Lyashevskaya

Background: Grammatical error correction (GEC) systems have greatly developed over the recent decade. According to common metrics, they often reach the level of or surpass human experts. Nevertheless, they perform poorly on several kinds of errors that are effortlessly corrected by humans. Thus, reaching the resolution limit, evaluation algorithms and datasets do not allow for further enhancement of GEC systems.

Purpose: To solve the problem of the resolution limit in GEC. The suggested approach is to use for evaluation concentrated datasets with a higher density of errors that are difficult for modern GEC systems to handle.

Method: To test the suggested solution, we look at distant-context-sensitive errors that have been acknowledged as challenging for GEC systems. We create a concentrated dataset for English with a higher density of errors of various types, half-manually aggregating pre-annotated examples from four existing datasets and further expanding the annotation of distant-context-sensitive errors. Two GEC systems are evaluated using this dataset, including traditional scoring algorithms and a novel approach modified for longer contexts.

Results: The concentrated dataset includes 1,014 examples sampled manually from FCE, CoNLL-2014, BEA-2019, and REALEC. It is annotated for types of context-sensitive errors such as pronouns, verb tense, punctuation, referential device, and linking device. GEC systems show lower scores when evaluated on the dataset with a higher density of challenging errors, compared to a random dataset with otherwise the same parameters.

Conclusion: The lower scores registered on concentrated datasets confirm that they provide a way for future improvement of GEC models. The dataset can be used for further studies focusing on distant-context-sensitive GEC.

Научное направление: Филология и лингвистика Компьютерные науки
Язык: английский
Полный текст
DOI
Текст на другом сайте
Ключевые слова: ESLавтоматическое исправление ошибок Grammatical Error CorrectionL2 errorsconcentrated datasetscross-sentence GECошибки L2английский как второй языкконцентрированные наборы данныхисправление ошибок в широком контексте
Похожие публикации
Практическое руководство по написанию аргументативных эссе на английском языке. A Practical Guide to Writing Argumentative Essays in English.
Воронина Е. А., Курьян М. Л., Н. Новгород: Нижегородский государственный технический университет им. Р.Е. Алексеева, 2026.
Представленные материалы знакомят обучающихся с основными типами академического эссе и предлагают систему заданий, направленных на последовательное развитие навыков анализа, аргументации и самостоятельного построения текста. Особое внимание уделяется осознанному выбору языковых и композиционных средств в соответствии с целью письменного высказывания. Предназначено для студентов учреждений высшего и среднего профессионального образования, владеющих английским языком преимущественно на уровнях B2–C1, а также для ...
Добавлено: 18 ноября 2026 г.
«Сохрани мою речь...». Мандельштамовский альманах.
СПб.: Свет, 2026.
Мандельштамовское общество в сотрудничестве с Центром цифровых архивных исследований Школы филологических наук Научно-исследователь ского университета «Высшая школа экономики» возобновляет выпуск серии традиционных Мандельштамовских альманахов «Сохрани мою речь...». Ранее серия под эгидой Мандельштамовского общества выходила в издательствах «Обновление» (1991, выпуск 1), «Книжный сад» (1994, выпуск 2) и РГГУ (2000, 2008, 2011, выпуски 3–5). Шестой выпуск посвящен ...
Добавлено: 17 ноября 2026 г.
Active learning of collinear magnetic Moment Tensor Potentials using the spin-MLIP package from soft-constrained spin-polarized DFT calculations: a case study of Fe-Pd
Burov A., Котыхов А. С., Aksyonov D. и др., Computer Physics Communications 2027 Vol. 330 Article 110458
Явный учет магнитных степеней свободы в межатомных потенциалах, построенных с помощью методов машинного обучения (магнитных MLIP), играет ключевую роль в корректном описании магнитных материалов и их свойств. Важным компонентом для обучения таких потенциалов являются спин-поляризованные расчеты в рамках теории функционала плотности (DFT), проводимые для состояний с неравновесными магнитными моментами — то есть расчеты DFT с ...
Добавлено: 17 ноября 2026 г.
Toward reliable false discovery rate control in classification problems under distribution shift
Кертес-Фаркаш А., Боревский А. О., Plos One 2026 Vol. 21 No. 11 P. 1–20
Background Domain shifts or batch effects can significantly degrade the performance of machine learning-based classifiers in software production without any warning. This can particularly be problematic in medical applications which involve human lives. The shift changes the shape of the prediction score distribution of the test samples compared to that of the training samples; hence, decision ...
Добавлено: 17 ноября 2026 г.
An Awkward Oikonym: Obscene Toponymy and Traditional Culture
Мороз А. Б., Folklore (Estonia) 2026 Vol. 101 P. 441–456
В статье рассматривается ситуация вокруг неформального, но широко известного и исторически подтвержденного ойконима, образованного от обсценного слова. Существование обсценного ойконима, с одной стороны, служит предметом своего рода гордости – как необычное явление, о котором охотно рассказывают «чужим», с другой стороны – вынуждает жителей деревни, носящей непристойное название, подчеркивать свою непричастность к семантике ойконима. Топонимические предания ...
Добавлено: 16 ноября 2026 г.
Вокруг Иосифа Бродского: неподцензурная литература 1950-х — 1970-х годов: материалы II международной конференции 28–29 мая 2025 года, Санкт-Петербург
Пенская Е. Н., СПб.: ООО «Журнал «Звезда», 2026.
Сборник включает статьи авторитетных литературоведов — участников II международной научной конференции «Вокруг Иосифа Бродского: неподцензурная литература 1950-х — 1970-х годов», состоявшейся в мае 2025 года в Санкт-Петербурге. Сборник разделен на два раздела. Первый раздел — «Иосиф Бродский: биография и творчество в контексте времени» — посвящен собственно жизни и поэзии Нобелевского лауреата. Во второй раздел — ...
Добавлено: 15 ноября 2026 г.
Этнолингвистика. Ономастика. Этимология. Материалы VI Международной научной конференции, посвященной 100-летию со дня рождения А. К. Матвеева. Екатеринбург, 24–27 сентября 2026 г.
Мороз А. Б., Издательство Уральского университета, 2026.
В работах исследователей из России, стран ближнего и дальнего зарубежья рассматривается широкий спектр актуальных проблем этнолингвистики, ономастики, этимологии как общего, так и частного порядка. Особое внимание уделяется вопросам взаимодействия указанных областей языкознания — лингвокультурологическим аспектам ономастики, диалектологии и контактологии, этимологизации и семантической реконструкции нарицательных и собственных имен с опорой на этнолингвистическую информацию и др. Материалом для докладов послужили факты ...
Добавлено: 14 ноября 2026 г.
О чем говорит школьный урок? Корпусный анализ структуры урока и речи учителя как основа для педагогических продуктов
Виноградова Ю. С., Браташ В. С., Зубов В. И. и др., Вопросы образования 2026 Т. 1 № 3 С. 94–131
Цель исследования — описать структуру школьного урока и лингвистический профиль речи учителей, реализующих результативные учебные практики, на материале записей реальных занятий, проведенных в российских школах, и показать, как эти данные могут служить основой для разработки методических продуктов и инструментов профессиональной поддержки педагогов. В эмпирическую базу исследования входит корпус из 55 аудиозаписей, которые получены в 2022–2024 ...
Добавлено: 13 ноября 2026 г.
A Language Model for Grammatical Error Correction in L2 Russian
Remnev N., Obiedkov S., Рахилина Е. В. и др., / Series Computer Science "arxiv.org". 2023.
Добавлено: 30 октября 2024 г.
Writing practices of university students in an online academic English course in Uzbekistan
Ахмеджанова Д. Р., Writing and Pedagogy 2022 Vol. 14 No. 1 P. 129–150
Добавлено: 31 октября 2022 г.
Споры в сфере киберспорта: вопросы «forum conveniens», эффективных процедур и обеспечительных мер
Абдуллина В. А., Арбитражный и гражданский процесс (Российская Федерация) 2021 № 11 С. 23–28
Статья посвящена поиску оптимальных институтов и процедуры разрешения споров в сфере киберспорта. Анализируя особенности данной отрасли, автор предполагает, что необходима дифференциация споров по субъектному критерию на споры с профессиональными участниками (ESIC) и с пользователями. По итогам рассмотрения действующих процессуальных механизмов автор приходит к выводу о применимости процедуры установления обеспечительных мер к процессуальным инструментам в киберспортивных ...
Добавлено: 3 июня 2022 г.
Автоматическое обнаружение и исправление деривационных ошибок в письменной речи на русском как иностранном
Выренкова А. С., Смирнов И. Ю., Вестник Новосибирского государственного университета. Серия: Лингвистика и межкультурная коммуникация 2021 Т. 19 № 3 С. 57–68
Учебные корпуса представляют собой один из наиболее ценных источников статистических данных об ошиб-ках учащихся. Например, информация из корпусов учащихся, которые изучают язык как иностранный, ис-пользуется для исследований в области усвоения второго языка [Granger, 1996]. Однако достоверность содер-жащихся в корпусах данных зависит от качества разметки ошибок, которая чаще всего выполняется вручную и, таким образом, представляет собой ...
Добавлено: 24 сентября 2021 г.
Writing for Social Media as an Integral Part of an ESL Course
Бакулев А. В., Bondarev M., Zablotskaya O., , in: 2nd International Multidisciplinary Scientific Conference on Social Sciences and Arts SGEM2015. Conference ProceedingsVol. II. Book 1: Psychology and Psychyatry, Sociology and Helathcare, Education.: Sofia: STEF92 Technology Ltd., 2015. P. 1193–1200.
Добавлено: 13 октября 2016 г.
Mastering English through Global Debate
Талалакина Е. В., Brown N. A., Bown J. и др., Washington: Georgetown University Press, 2014.
Mastering English through Global Debate brings together rhetorical traditions and the best practices of ESL instruction to facilitate Superior-level proficiency in the English language. Each chapter addresses a rich topic of debate, providing students with a set of prereading activities, texts covering both sides of a debate topic, and postreading comprehension and lexical development exercises ...
Добавлено: 27 ноября 2014 г.
Case study: A community of learners
Плахотник М. С., , in: Adult education special topics: Theory, research and practice in lifelong learning: Case studies and activities in adult education and human resource development.: Charlotte: Information Age Publishing, 2010. P. 50–52.
Добавлено: 10 июня 2014 г.
Role plays as an effective approach to teaching cross-cultural communication
Кузнецова М. Н., , in: Language in Culture and Culture in Language: Сборник материалов международной научно-практической конференции, 25-26 сентября 2009 (The First MELTA Conference).: М.: Институт гуманитарного образования и информационных технологий, 2009. P. 53–58.
Добавлено: 28 октября 2012 г.
  • О ВЫШКЕ
  • Цифры и факты
  • Руководство и структура
  • Устойчивое развитие в НИУ ВШЭ
  • Преподаватели и сотрудники
  • Корпуса и общежития
  • Закупки
  • Обращения граждан в НИУ ВШЭ
  • Фонд целевого капитала
  • Противодействие коррупции
  • Сведения о доходах, расходах, об имуществе и обязательствах имущественного характера
  • Сведения об образовательной организации
  • Людям с ограниченными возможностями здоровья
  • Единая платежная страница
  • Работа в Вышке
  • ОБРАЗОВАНИЕ
  • Лицей
  • Довузовская подготовка
  • Олимпиады
  • Прием в бакалавриат
  • Вышка+
  • Прием в магистратуру
  • Аспирантура
  • Дополнительное образование
  • Центр развития карьеры
  • Бизнес-инкубатор ВШЭ
  • Образовательные партнерства
  • Обратная связь и взаимодействие с получателями услуг
  • НАУКА
  • Научные подразделения
  • Исследовательские проекты
  • Мониторинги
  • Диссертационные советы
  • Защиты диссертаций
  • Академическое развитие
  • Конкурсы и гранты
  • Внешние научно-информационные ресурсы
  • РЕСУРСЫ
  • Библиотека
  • Издательский дом ВШЭ
  • Книжный магазин «БукВышка»
  • Типография
  • Медиацентр
  • Журналы ВШЭ
  • Публикации
  • http://www.minobrnauki.gov.ru/
    Министерство науки и высшего образования РФ
  • https://edu.gov.ru/
    Министерство просвещения РФ
  • https://elearning.hse.ru/mooc
    Массовые открытые онлайн-курсы
  • НИУ ВШЭ1993–2026
  • Адреса и контакты
  • Условия использования материалов
  • Политика обработки персональных данных
  • Правила применения рекомендательных технологий в НИУ ВШЭ
  • Карта сайта
Редактору