Распознавание выражений лиц на основе адаптации классификатора видеоданных пользователя

Компьютерная оптика. 2023. Т. 47. № 5. С. 806–815.

Чураев Е. Н., Савченко А. В.

В настоящей работе предложен метод распознавания выражений лиц по видео, позво- ляющий значительно увеличить точность при помощи адаптации модели к эмоциям кон- кретного пользователя, например, владельца мобильного устройства. На первом этапе нейросетевая модель, предварительно обученная распознавать на статиче- ских фото, применяется для извлечения признаков лиц . Далее они агрегируются в единый для короткого фрагмента видео, после чего обучается нейросетевой классификатор. На втором этапе предлагается выполнить адапта- цию этого классификатора с использованием небольшого набора видеоданных с выраже- ниями лиц конкретного пользователя. После принятия решения пользователь может кор- ректировать предсказанные эмоции для дальнейшего повышения точности персональной модели. В рамках экспериментального исследования для набора данных RAVDESS пока- зано, что подход с адаптацией модели под конкретного пользователя позволяет значи- тельно (на 20-50%) повысить точность распознавания выражений лиц по видео.

Ключевые слова: распознавание лиц, Speaker-dependent emotion recognition, facial expression classification, neural network classifier adaptation, распознавание выражений лиц, адаптация нейросетевого классификатора