?
Распознавание вовлеченности собеседников с помощью анализа мел-спектрограмм
В работе разрабатывается система для автоматического распознавания вовлеченности собеседников по речи дикторов. В качестве аудиальных признаков используются мел- спектрограммы, которые потом подаются на вход сверточной нейронной сети. Для экспериментальных исследований извлекались как узкополосные мел-спектрограммы, так и широкополосные, отличающие шириной полос (разрешающей способностью). Обучение и тестирование системы проходило на данных корпуса RECOLA, который включал в себя коммуникационные взаимодействия между собеседниками. Как показывают эксперименты наиболее эффективным подходом является извлечение узкополосных мел-спектрограмм после преобразования Фурье с оконной функцией Ханна, при таком подходе достигается точность F-мера = 82,21% для распознавания трех уровней вовлеченности: низкий, средний и высокий.