Мультимодальная коммуникация в фокусе исследовательской рефлексии: проблемно-ориентированный подход

Критика и семиотика. 2022. № 2. С. 54–70.

Белоедова А. В., Кожемякин Е. А.

Представлен обзор проблемно-ориентированного подхода к анализу мультимодальной коммуникации, разработанного Джоном Бейтманом, Яниной Вильдфойер и Туомо Хиппала. Авторы обосновывают продуктивность этого подхода к анализу современной информационно-коммуникационной системы в связи с появлением новых устойчивых автономных медиа - смартфонов, компьютерных игр, 3D-кинематографа, технологий дополненной и виртуальной реальности. К базовым концептам, ассоциируемым с мультимодальностью, авторы относят модус, коммуникативную ситуацию, эргодический текст с его свойствами мутабельности и темпоральности. Важнейшими характеристиками коммуникативной ситуации, которая выступает единицей мультимодального анализа, являются источник информации, реципиент, обстоятельства коммуникации и ее длительность. В свою очередь, коммуникативные ситуации, взаимодействуя друг с другом, порождают линейные, микроэргодические, немутабельные эргодические и мутабельные эргодические типы в зависимости от того, какой способ восприятия информации реципиентом превалирует. Наиболее репрезентативные результаты при изучении мультимодальных объектов, «зыбких» и непредсказуемых, дает сочетание квалитативных и квантитативных методов, применение корпусных методов, видеоокулографических техник и вычислительных методов.

Ключевые слова: коммуникативная ситуация, мультимодальность, мультимодальные исследования коммуникации, проблемно-ориентированный подход, методы мультимодальных исследований