• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • A
  • A
  • A
  • A
  • A
Обычная версия сайта
  • RU
  • EN
  • HSE University
  • Publications
  • Book chapter
  • Аналитический обзор многомодальных корпусов данных для распознавания эмоций
  • RU
  • EN
Расширенный поиск
Высшая школа экономики
Национальный исследовательский университет
Priority areas
  • business informatics
  • economics
  • engineering science
  • humanitarian
  • IT and mathematics
  • law
  • management
  • mathematics
  • sociology
  • state and public administration
by year
  • 2028
  • 2027
  • 2026
  • 2025
  • 2024
  • 2023
  • 2022
  • 2021
  • 2020
  • 2019
  • 2018
  • 2017
  • 2016
  • 2015
  • 2014
  • 2013
  • 2012
  • 2011
  • 2010
  • 2009
  • 2008
  • 2007
  • 2006
  • 2005
  • 2004
  • 2003
  • 2002
  • 2001
  • 2000
  • 1999
  • 1998
  • 1997
  • 1996
  • 1995
  • 1994
  • 1993
  • 1992
  • 1991
  • 1990
  • 1989
  • 1988
  • 1987
  • 1986
  • 1985
  • 1984
  • 1983
  • 1982
  • 1981
  • 1980
  • 1979
  • 1978
  • 1977
  • 1976
  • 1975
  • 1974
  • 1973
  • 1972
  • 1971
  • 1970
  • 1969
  • 1968
  • 1967
  • 1966
  • 1965
  • 1964
  • 1963
  • 1958
  • More
Subject
News
September 18, 2026
When Pictures Hinder Understanding: Illustrations May Impede Learning of Abstract Ideas
Illustrations can help remember specific actions but do not always make abstract ideas easier to learn. Researchers from HSE University and Humboldt University compared how people learn from texts with different levels of abstractness. They found that participants remembered illustrations better and performed better on related tasks after reading a multimedia text about yoga asanas than after reading an abstract text about the Nash equilibrium. The findings could help improve the selection of illustrations for educational and informational materials. The study has been published in Learning and Instruction.
September 17, 2026
'I Wish That People Would Place Greater Trust in Science'
When Tatiana Eremicheva chose Fundamental and Computational Linguistics as her field of study, she thought it would be about learning languages. Instead, she discovered it was about helping people. In this interview for the HSE Young Scientists project, she discusses science as a way of understanding the world, billiards as a team-building activity, and why learning to read is not always as easy as it seems.
September 15, 2026
Immunity to Chaos: How Personal Resources Help Us Cope with the Challenges of a Turbulent World
International conflicts, crises and digital overload—the modern world puts our minds to the test every day. Traditional psychology often focuses on the consequences: anxiety, depression, and psychosomatic disorders. But what if we looked at the problem differently—through the lens of the resources that prevent us from breaking down? Psychological immunity is precisely this set of resources. Alena Zolotareva and her group, Psychological Immunity as a Resource for Positive Functioning, are developing an integrative model of this phenomenon, adapting diagnostic tools and preparing for large-scale empirical research. Why do psychologists need to collaborate with medical professionals, and how could their research transform preventive care in clinics and corporations?

 

Have you spotted a typo?
Highlight it, click Ctrl+Enter and send us a message. Thank you for your help!

Publications
  • Books
  • Articles
  • Chapters of books
  • Working papers
  • Report a publication
  • Research at HSE

?

Аналитический обзор многомодальных корпусов данных для распознавания эмоций

.
Dvoynikova A.
Language: Russian
Keywords: интенсивность эмоцийраспознавание эмоцийкорпуса данныхпространственные эмоцииполярность эмоцийвалентность эмоций

In book

Альманах научных работ молодых ученых Университета ИТМО
Университет ИТМО, 2023.
Similar publications
“Reading the Mind in the Eyes Test”: Development of a Russian-Language Version Expanded for Neuroimaging Applications
Zheltyakova M., Korotkov A., Bursov K. et al., Herald of the Russian Academy of Sciences 2026 Vol. 95 P. 1048–1057
The Reading the Mind in the Eyes Test (RMET) is a widely used tool for assessing affective mentalization in both clinical and research contexts. Although translated into many languages, no validated Russian-language version has been available. Furthermore, the limited number of stimuli in the original RMET constrains its applicability in neuroimaging studies. This study presents ...
Added: September 13, 2026
Enhancing Emotion Recognition in Speech Based on Self-Supervised Learning: Cross-Attention Fusion of Acoustic and Semantic Features
Deeb B., Andrey V. Savchenko, Makarov I., IEEE Access 2026 Vol. 13 P. 56283–56295
Speech Emotion Recognition has gained considerable attention in speech processing and machine learning due to its potential applications in human-computer interaction, mental health monitoring, and customer service. However, state-of-the-art models for speech emotion recognition use many parameters, which leads to computational complexity. In this paper, we introduce a novel deep-learning model to enhance the accuracy ...
Added: June 16, 2026
Многомодальный корпус данных вза- имодействия участников виртуальной коммуникации ENERGI
Dvoynikova A., Величко А. Н., Карпов А. А., Известия высших учебных заведений. Приборостроение 2025 Т. 68 № 12 С. 1011–1019
Выполнен статистический анализ многомодального корпуса данных ENERGI (ENgagement and Emotion Russian Gathering Interlocutors), содержащего аудиовидеозаписи коммуникации на русском языке группы людей, полученные с использованием системы телеконференций Zoom. Данные корпуса размечены по трем классам: вовлеченности (высокий, средний, низкий) участников в разговор, эмоционального возбуждения (высокий, средний, низкий) и валентности эмоций (положительный, нейтральный, негативный), а также десяти классам ...
Added: April 25, 2026
Сравнительный анализ методов аспектного анализа тональности текстов
Абрегова З. Х., Dvoynikova A., В кн.: Альманах научных работ молодых ученых Университета ИТМО.: Университет ИТМО, 2025. С. 487–493.
В статье рассматриваются различные методы аспектного анализа тональности текстовых данных, включая как традиционные методы, основанные на правилах, так и современные алгоритмы машинного и глубокого обучения. В работе представлен сравнительный анализ корпусов данных и методов аспектного анализа тональности текстов, который является важной задачей в области обработки естественного языка и анализа данных. ...
Added: April 25, 2026
Метод распознавания сентимента и эмоций в транскрипциях русскоязычной речи с использованием машинного перевода
Dvoynikova A., Кагиров И. А., Карпов А. А., Информатика и автоматизация (Труды СПИИРАН) 2024
В статье рассматривается проблема распознавания сентимента и эмоций пользователей в русскоязычных текстовых транскрипциях речи с использованием словарных методов и машинного перевода. Количество имеющихся информационных ресурсов для анализа сентимента текстовых сообщений на русском языке очень ограничено, что существенно затрудняет применение базовых методов анализа сентимента, а именно, предобработки текстов, векторизации с помощью тональных словарей, традиционных классификаторов. Для ...
Added: April 25, 2026
Анализ вовлеченности и эмоций собеседников виртуальной коммуникации
Dvoynikova A., В кн.: Сборник трудов XII Конгресса молодых ученыхТ. 2.: Университет ИТМО, 2023. С. 185–190.
В работе проводится исследование многомодальных и многозадачных подходов к анализу вовлеченности, полярности и интенсивности эмоций собеседников виртуальной коммуникации. Для экспериментальных исследований использовался аудиовизуальный корпус данных RECOLA. Предложенный многомодальный и многозадачный подход основан на применении спектрограмм и нейросетевых признаков ResNet, для акустической и визуальной информации соответственно, которые подаются на вход сверточным нейронным сетям. С помощью предложенного подхода удалось достичь точности распознавания 3 ...
Added: April 25, 2026
Подход к автоматическому распознаванию эмоций в транскрипциях речи
Dvoynikova A., Кондратенко К. О., Известия высших учебных заведений. Приборостроение 2023 Т. 66 № 10 С. 818–827
Аннотация. Исследован актуальный в различных областях вопрос распознавания эмоций в транскрипциях речи. Проанализировано влияние методов предобработки (удаление стоп-слов, лемматизация, стемминг) на точность распознавания эмоций в текстовых данных на русском и английском языках. Для проведения экспериментальных исследований использовались орфографические транскрипции диалогов из многомодальных корпусов RAMAS и CMU-MOSEI на русском и английском языке соответственно. Аннотирование этих корпусов ...
Added: April 25, 2026
Анализ информационного и математического обеспечения для распознавания аффективных состояний человека
Dvoynikova A., Маркитантов М. В., Рюмина Е. В. et al., Информатика и автоматизация (Труды СПИИРАН) 2022 Т. 21 № 6 С. 1097–1144
Аннотация. В статье представлен аналитический обзор исследований в области аффективных вычислений. Это направление является составляющей искусственного интеллекта, и изучает методы, алгоритмы и системы для анализа аффективных состояний человека при его взаимодействии с другими людьми, компьютерными системами или роботами. В области интеллектуального анализа данных под аффектом подразумевается проявление психологических реакций на возбуждаемое событие, которое может протекать ...
Added: April 25, 2026
Автоматическое определение эмоционального состояния участников предметных разговоров по транскрипциям речи
Dvoynikova A., Мамонтов Д. Ю., Карпов А. А., В кн.: Альманах научных работ молодых ученых Университета ИТМОТ. 3.: Университет ИТМО, 2021. С. 63–68.
В работе проводятся экспериментальные исследования по определению уровня эмоциональных проявлений в текстовых транскрипциях базы данных K-EmoCon. Рассматривается влияние сбалансирования классов при обучении классификаторов на точность определения эмоций. В статье устанавливается базовый стандарт результатов по классификации уровня эмоций дикторов в текстовых транскрипциях. ...
Added: April 24, 2026
CA-SER: Cross-Attention Feature Fusion for Speech Emotion Recognition
Deeb B., Savchenko A., Makarov I., , in: ECAI 2024. 27th European Conference on Artificial Intelligence, October 19 – 24 October 2024, Santiago de Compostela, Spain – Including 13th Conference on Prestigious Applications of Intelligent Systems (PAIS 2024).: IOS Press, 2024. P. 4479–4482.
In this paper, we introduce a novel tool for speech emotion recognition, CA-SER, that borrows self-supervised learning to extract semantic speech representations from a pre-trained wav2vec 2.0 model and combine them with spectral audio features to improve speech emotion recognition. Our approach involves a self-attention encoder on MFCC features to capture meaningful patterns in audio ...
Added: February 15, 2025
Неклассический подход к созданию базы эмоциональных лиц: за рамками теории базовых эмоций
Petrakova A., Anikudimova E., Лебедева Е. И., В кн.: Лицо человека в системах коммуникации.: М.: Московский институт психоанализа, 2024. Гл. 10 С. 138–147.
Added: January 7, 2025
Опыт создания российской базы лиц, изображающих различные эмоции: первый этап
Petrakova A., Лебедева Е. И., Kuzmina Y. et al., Психология. Журнал Высшей школы экономики 2024 Т. 21 № 2 С. 423–431
This article presents a pilot study with the objective to create and test stimulus material, which consists of photographic portraits of adults and children expressing various emotions. The uniqueness of this work is due to the approach to organizing the creation of stimulus material, in which the models demonstrated emotions not according to an established ...
Added: December 26, 2024
Распознавание эмоций в соотнесении к «эмоциональным семействам»
Petrakova A., Лебедева Е. И., Anikudimova E., Экспериментальная психология 2024 Т. 17 № 3 С. 4–15
The work is aimed at studying the performance of emotion recognition of people of different sex and age, expressed without specified criteria, in association with «emotional families». The materials of an empirical online research obtained with the help of the crowdsourcing service «Yandex. Toloka», in which 3,590 tes- ters took part. The subjects guessed one ...
Added: December 26, 2024
Поможет ли Байесовская сыворотка правды повысить достоверность разметки эмоциональных текстов? (case study)
Kolmogorova A., Хлебникова В. А., Человек: образ и сущность. Гуманитарные аспекты 2025 № 2(62) С. 45–68
В статье рассматриваются результаты применения методологии, известной как Байесовская сыворотка правды (BTS), в задаче эмоциональной разметки текстов для последующего обучения нейросетевых моделей. Суть метода состоит в том, что информантов сначала просят оценить некоторый феномен со своей собственной точки зрения, а затем – предсказать, какой ответ (или оценку) выберет наибольший процент других отвечающих на тот же ...
Added: November 29, 2024
Специфика разметки мультимодального корпуса эмоциональной речи
Куликова Е. Р., В кн.: Лингвистическая семантика в пространственном измерении: Словарь. Дискурс. Корпус.: Екатеринбург: Кабинетный ученый, 2024. Гл. 9.1 С. 399–411.
Added: November 29, 2024
Культурные правила выражения и распознавание эмоций других людей: различия в распознавании гнева представителями армянской и русской культур
Sysoeva T., Айрапетян Е. А., Психологические исследования: электронный научный журнал 2023 Т. 16 № 92 Статья 1
The current study is aimed to investigate the differences in emotion recognition among representatives of Armenian and Russian cultures. A preliminary study demonstrated that Armenians, unlike Russians, tend to control the expression of anger towards in-group members in greater extent. One hypothesis explaining the cultural influence on emotion recognition suggests that expression norms, which require ...
Added: January 29, 2024
Подходы к распознаванию эмоций в интеллектуальных системах
Kartasheva A., Технологос 2020 № 2 С. 15–24
The article examines approaches to emotion recognition in intelligent systems from the point of view of methodological grounds. In interdisciplinary research, where it is necessary to combine approaches from different fields, we face terminological uncertainty, since the problem of describing the emotional sphere is solved by different researchers in line with several main approaches. First, the ...
Added: October 20, 2023
Three-way classification for sequences of observations
A. V. Savchenko, L. V. Savchenko, Information Sciences 2023 Vol. 648 Article 119540
This article introduces the novel technique to reduce the computation time for classifying a sequence of observations (frames), such as a video stream, where each observation is described by high-dimensional embeddings extracted by a deep neural network. By using the methodology of granular computing, an observed sequence is represented at various scales using different frame ...
Added: August 27, 2023
HSE-NN Team at the 4th ABAW Competition: Multi-task Emotion Recognition and Learning from Synthetic Images
Savchenko A., / Series Computer Science "arxiv.org". 2022.
In this paper, we present the results of the HSE-NN team in the 4th competition on Affective Behavior Analysis in-the-wild (ABAW). The novel multi-task EfficientNet model is trained for simultaneous recognition of facial expressions and prediction of valence and arousal on static photos. The resulting MT-EmotiEffNet extracts visual features that are fed into simple feed-forward ...
Added: October 21, 2022
  • About
  • About
  • Key Figures & Facts
  • Sustainability at HSE University
  • Faculties & Departments
  • International Partnerships
  • Faculty & Staff
  • HSE Buildings
  • HSE University for Persons with Disabilities
  • Public Enquiries
  • Studies
  • Admissions
  • Programme Catalogue
  • Undergraduate
  • Graduate
  • Exchange Programmes
  • Summer University
  • Summer Schools
  • Semester in Moscow
  • Business Internship
  • Research
  • International Laboratories
  • Research Centres
  • Research Projects
  • Monitoring Studies
  • Conferences & Seminars
  • Academic Jobs
  • Yasin (April) International Academic Conference on Economic and Social Development
  • Media & Resources
  • Publications by staff
  • HSE Journals
  • Publishing House
  • iq.hse.ru: commentary by HSE experts
  • Library
  • Economic & Social Data Archive
  • Video
  • HSE Repository of Socio-Economic Information
  • HSE1993–2026
  • Contacts
  • Copyright
  • Privacy Policy
  • Site Map
Edit