?
AI как писатель глазами читателя: результаты психолингвистического эксперимента по оценке сгенерированных художественных текстов любительской прозы
Большие языковые модели выполняют все больше разнообразных задач, в том числе генерируют длинные тексты, претендующие на художественность. Цель статьи – описать результаты психолингвистического эксперимента по субъективной оценке шести художественных текстов, трех сгенерированных большими языковыми моделями (БЯМ), с тремя текстами, написанными людьми в жанре любительской прозы по мотивам романов о Гарри Поттере. Материалом для оценки послужили шесть текстов на английском языке: три, сгенерированные искусственным интеллектом с использованием разных подходов, и три, написанные реальными авторами. Исследование проведено с помощью метода психолингвистического эксперимента. Восемнадцать информантов оценивали тексты по восьми критериям, отражающим ключевые категории художественности: когерентность (целостность), смысловая и лексико-грамматическая связность (когезия), ритм повествования, эмоциональность, субъективная модальность сомнения, сложность синтаксиса и выразительность (идиоматичность, креативность, сильные позиции текста). Обработка результатов включала статистический анализ объективных параметров лингвистической сложности текстов, полученных от информантов субъективных оценок, а также кластеризацию векторизованных пересказов текстов, предоставленных информантами.
Результаты показали, что информанты, студенты-филологи, оценили естественные и сгенерированные тексты неодинаково в разных категориях. Благодаря специальным методам генерации, синтетические тексты получили высокие субъективные оценки группы информантов, сопоставимые с оценками естественных текстов, по параметрам общей когерентности и синтаксической сложности. Однако наиболее значимые отличия в оценках проявились в категориях ритма, смысловой связности и присутствия субъективной модальности сомнения, которые читатели оценили в синтетических текстах значительно ниже. Тем не менее, один из сгенерированных текстов продемонстрировал характеристики, сопоставимое с написанными текстами, по таким параметрам, как идиоматичность, креативность и способность маркировать сильные позиции. Эксперимент с кластеризацией пересказов продемонстрировал, что пересказы данного текстаформируют более четкий кластер, нежели пересказы двух других сгенерированных текстов.
Делается вывод о том, что основные отличия в субъективных оценках информантами сгенерированных и естественных текстов касаются не иерархической структуры связного текста, а динамики, психологической достоверности и ритмической организации повествования.