?
ChatGPT в англоязычном академическом письме: признаки машинной генерации текста в обзорах литературы студентов бакалавриата и магистратуры
В эпоху стремительного развития технологий искусственного интеллекта (ИИ) остро встает проблема недобросовестного использования студентами средств ИИ для генерации англоязычных научных работ или их фрагментов с последующим представлением их как авторский продукт. Эта проблема усугубляется отсутствием надежного инструментария для установления признаков машинного происхождения таких текстов. В настоящем исследовании на основе результатов предварительного качественного и количественного анализа 45 сгенерированных ChatGPT-3.5 англоязычных обзоров литературы к научным проектам (research proposals) предпринята попытка выявить отличительные характеристики таких текстов и определить их присутствие в англоязычных обзорах литературы, подготовленных студентами бакалавриата и магистратуры двух российских вузов. На первом этапе исследования в рамках анализа искусственно сгенерированных текстов и небольшой выборки работ магистрантов (N = 12) было установлено, что многие характеристики искусственно сгенерированных обзоров литературы в ярко выраженной форме проявились в студенческих текстах, что позволило рассматривать их в качестве признаков машинной генерации текста. Одним из таких признаков явилась аномально высокая повторяемость одних и тех же абстрактных слов и оборотов в искусственно сгенерированных и студенческих текстах. На этом этапе исследования с помощью корпусного менеджера AntConc был проведен количественный анализ частотности употребления таких оборотов в искусственно сгенерированных текстах и составлен список наиболее частотных слов и оборотов (обозначенных в работе как «обороты из языка ChatGPT»), указывающих на машинное происхождение текста. На втором этапе исследования первоначальные выводы о признаках машинной генерации текстов были подкреплены, уточнены и дополнены на основе качественного и количественного анализа объединенной выборки из 47 англоязычных обзоров литературы магистрантов и бакалавров. По результатам анализа работ было выявлено десять признаков машинной генерации текста, относящихся к структурно-содержательным и языковым аспектам подготовки англоязычных обзоров литературы, которые описываются и иллюстрируются в работе. Полученные результаты, выводы и рекомендации могут быть полезны широкому кругу читателей, в особой мере педагогам и ученым, принимающим участие в обучении написанию англоязычных научных работ, экспертизе и рецензировании таких работ, а также осуществляющим руководство научными проектами на английском языке.