Обнаружение видеодипфейков на основе обучаемого временного внимания в визуально-языковых моделях

Информационные технологии и вычислительные системы. 2026.

Федотов Г. А.

В работе предложен обучаемый модуль временного внимания для обнаружения видеодипфейков, использующий признаки предобученных визуально-языковых моделей. Модуль заменяет усреднение покадровых признаков их взвешенной суммой, веса которой настраиваются по метке видеозаписи. В автономной конфигурации обучаются только модуль и выходной классификатор, имеющие 266 755 параметров. Конфигурация, сочетающая модуль с пространственно-временным адаптером, достигает площади под кривой ошибок 0,978 против 0,955 при усреднении покадровых признаков на тестовой выборке FaceForensics++ с умеренным сжатием. Решение превосходит адаптер без модуля по среднему значению метрики на семи внешнедоменных наборах, но уступает покадровой модели. На единственном внешнедоменном видеонаборе лучший результат получен у автономной конфигурации.

Ключевые слова: temporal attention, Vision-language models, deepfake detection, обнаружение дипфейков, parameter-efficient fine-tuning, video deepfakes, per-frame feature aggregation, cross-domain generalisation, видеодипфейки, временное внимание, визуально-языковые модели, внешнедоменная обобщаемость, агрегация покадровых признаков, параметрически эффективное дообучение