Сочетание контрастного обучения и обучения с учителем для обнаружения видео со сверхвысоким разрешением

Препринты ИПМ им. М.В. Келдыша. 2022. № 80. С. 14–27.

Мещанинов В. П., Ватолин Д. С., Молодецких И. А., Волобой А. Г.

Обнаружение увеличенного видео является полезным инструментом в мультимедийной криминалистике, однако это сложная задача, требующая применения различных алгоритмов масштабирования и сжатия. Существует множество методов повышения разрешения, включая интерполяцию и методы, основанные на машинном обучении. И все они оставляют уникальные следы. В этой работе предлагается новый метод обнаружения видео со сверхвысоким разрешением, основанный на изучении визуальных представлений с использованием перекрёстной энтропии и контрастной функции потерь. Чтобы объяснить, как метод обнаруживает такие видео, была подробно рассмотрена его структура. В частности, показано, что большинство подходов увеличения обучающей выборки ухудшает результат обучения модели. Благодаря обширным экспериментам с различными наборами данных, было продемонстрировано, что предложенный метод эффективно обнаруживает масштабирование даже в сжатых видео и превосходит современные альтернативы. Код и модели доступны по адресу https://github.com/msu-video-group/SRDM.

Ключевые слова: компьютерное зрение, computer vision, Super-resolution, deepfake detection, повышение разрешения, обнаружение дипфейков