?
Специфика разметки мультимодального корпуса эмоциональной речи
Гл. 9.1. С. 399–411.
Куликова Е. Р.
Publication based on the results of:
In book
Екатеринбург: Кабинетный ученый, 2024.
Deeb B., Andrey V. Savchenko, Makarov I., IEEE Access 2026 Vol. 13 P. 56283–56295
Speech Emotion Recognition has gained considerable attention in speech processing and machine learning due to its potential applications in human-computer interaction, mental health monitoring, and customer service. However, state-of-the-art models for speech emotion recognition use many parameters, which leads to computational complexity. In this paper, we introduce a novel deep-learning model to enhance the accuracy ...
Added: June 16, 2026
Dvoynikova A., Кагиров И. А., Карпов А. А., Информатика и автоматизация (Труды СПИИРАН) 2024
В статье рассматривается проблема распознавания сентимента и эмоций пользователей в русскоязычных текстовых транскрипциях речи с использованием словарных методов и машинного перевода. Количество имеющихся информационных ресурсов для анализа сентимента текстовых сообщений на русском языке очень ограничено, что существенно затрудняет применение базовых методов анализа сентимента, а именно, предобработки текстов, векторизации с помощью тональных словарей, традиционных классификаторов. Для ...
Added: April 25, 2026
Dvoynikova A., В кн.: Альманах научных работ молодых ученых Университета ИТМО.: Университет ИТМО, 2023.
В статье раскрываются достоинства и недостатки категориальных и пространственных моделей описания эмоций. Пространственные модели позволяют охватить более широкий спектр человеческих эмоций, что позволяет разработать наиболее эффективную систему распознавания эмоций. В работе проводится аналитический обзор существующих многомодальных корпусов данных, которые имеют разметку по валентности и интенсивности эмоций. В заключении выделяется наиболее репрезентативный корпус данных для автоматического ...
Added: April 25, 2026
Dvoynikova A., Кондратенко К. О., Известия высших учебных заведений. Приборостроение 2023 Т. 66 № 10 С. 818–827
Аннотация. Исследован актуальный в различных областях вопрос распознавания эмоций в транскрипциях речи. Проанализировано влияние методов предобработки (удаление стоп-слов, лемматизация, стемминг) на точность распознавания эмоций в текстовых данных на русском и английском языках. Для проведения экспериментальных исследований использовались орфографические транскрипции диалогов из многомодальных корпусов RAMAS и CMU-MOSEI на русском и английском языке соответственно. Аннотирование этих корпусов ...
Added: April 25, 2026
Dvoynikova A., Мамонтов Д. Ю., Карпов А. А., В кн.: Альманах научных работ молодых ученых Университета ИТМОТ. 3.: Университет ИТМО, 2021. С. 63–68.
В работе проводятся экспериментальные исследования по определению уровня эмоциональных проявлений в текстовых транскрипциях базы данных K-EmoCon. Рассматривается влияние сбалансирования классов при обучении классификаторов на точность определения эмоций. В статье устанавливается базовый стандарт результатов по классификации уровня эмоций дикторов в текстовых транскрипциях. ...
Added: April 24, 2026
Khusyainov T., Мусинова Ю. Д., В кн.: Границы науки / границы в науке: Труды Всероссийской научной конференции.: М.: Русское общество истории и философии науки, 2025. С. 97–100.
This paper examines postcards as multimodal sources, combining visual and textual elements. It also highlights a third modality—postmarks and marks that represent both text and image.
Analysis of postcards reveals the diachronic dynamics of communicative formats, visual languages, and speech practices. The trinity of text, image, and postal metadata allows us to reconstruct not only what people ...
Added: November 27, 2025
Patrakova E., Микулинский А. Д., Khomenko A., В кн.: Экспериментальные исследования языка: материалы конференции 2025.: М.: Наш мир, 2025. С. 80–81.
This study aims to create a comprehensive model for detecting unreliable information in speech by integrating verbal and non-verbal cues. The model was tested on experimental data containing both prepared and spontaneous truthful and deceptive statements. The ensemble Random Forest algorithm was used for analysis, demonstrating high model reliability on the training dataset. The most ...
Added: October 19, 2025
Воробьев В. А., В кн.: Толока: сборник статей к 60-летию А.Б. Мороза.: М.: РГГУ, 2025. С. 127–152.
The topic of drunkenness plays a significant role in student songs and is expressed through specific vocabulary, primarily the names of alcoholic beverages. The article examines a group of over 400 occurrences in three corpora (more than 500 texts) in comparison with the social and historical-cultural context of the songs’ existence. The analysis focuses on the ...
Added: October 9, 2025
Natalia G. Milashchenko, Journal of Siberian Federal University. Series: Humanities & Social Sciences 2025 Vol. 18 No. 10 P. 1981–1991
This study explores the employment of intertextual elements in editorial cartoons. The purpose of this research is to compare and contrast the types of precedent phenomena that are used to create British and American political cartoons addressing immigration issues. To this end, the sample of 50 British and 50 American graphical texts published by quality ...
Added: September 22, 2025
Пономарёва А. А., В кн.: LII Международная научная филологическая конференция имени Людмилы Алексеевны Вербицкой, 19–26 марта 2024 года, Санкт-Петербург: сборник тезисов.: СПб.: Издательство Санкт-Петербургского государственного университета, 2024. С. 922–923.
Рассматривается роль диалекта в коммерческой баннерной и плакатной рекламе Южной Германии. Были проанализированы рекламные кампании, проведенные на территории Ба варии и Баден-Вюртемберга с 2010 по 2022 гг., с вкраплениями южнонемецких диалектов. Ре зультаты лингвопрагматического анализа свидетельствуют о том, что использование диалекта в региональных рекламных сообщениях детерминировано как коммуникативными запросами общества, так и функциями рекламы как ...
Added: September 2, 2025
Пономарёва А. А., Вестник Московского государственного лингвистического университета. Гуманитарные науки 2024 № 7(888) С. 100–107
The article examines the role of dialect in commercial banner and poster advertising in South Germany. It analyzes advertising campaigns with Upper German dialect inclusions implemented between 2010 and 2022 in Bavaria and Baden-Württemberg. The results of linguopragmatic analysis indicate that the use of dialect in regional advertising messages is determined both by the communicative ...
Added: September 2, 2025
Kolmogorova A., Куликова Е. Р., Русин 2025 № 79 С. 262–286
Данное исследование является первым этапом экспериментального проекта по изучению процесса когнитивной обработки эмоциональных текстовых стимулов на L2 тюркско-русскими билингвами (в сравнении с носителями русского как родного). В исследовании используется специальный экспериментальный дизайн: в ходе эксперимента информанту предлагается прочитать короткий эмоциональный текст и провести его эмоциональную разметку. В процессе выполнения задания движения глаз информанта записываются с помощью айтрекера. В ...
Added: June 16, 2025
Kolmogorova A., Куликова Е. Р., Вопросы лексикографии 2025 № 36 С. 67–103
Статья посвящена аргументации тезиса о том, что в современном технологичном обществе у традиционного лингвистического словаря появился новый системный вариант – датасет. Имея общую логику, выстроенную по принципу «объект – ключ», словарь и датасет обладают и некоторыми отличиями, которые мы иллюстрируем на примере мультимодального датасета эмоций. Он предназначен для исследования эмоциональной речи на русском языке и ...
Added: May 20, 2025
Deeb B., Savchenko A., Makarov I., , in: ECAI 2024. 27th European Conference on Artificial Intelligence, October 19 – 24 October 2024, Santiago de Compostela, Spain – Including 13th Conference on Prestigious Applications of Intelligent Systems (PAIS 2024).: IOS Press, 2024. P. 4479–4482.
In this paper, we introduce a novel tool for speech emotion recognition, CA-SER, that borrows self-supervised learning to extract semantic speech representations from a pre-trained wav2vec 2.0 model and combine them with spectral audio features to improve speech emotion recognition. Our approach involves a self-attention encoder on MFCC features to capture meaningful patterns in audio ...
Added: February 15, 2025
Petrakova A., Anikudimova E., Лебедева Е. И., В кн.: Лицо человека в системах коммуникации.: М.: Московский институт психоанализа, 2024. Гл. 10 С. 138–147.
Added: January 7, 2025
Petrakova A., Лебедева Е. И., Kuzmina Y. et al., Психология. Журнал Высшей школы экономики 2024 Т. 21 № 2 С. 423–431
This article presents a pilot study with the objective to create and test stimulus material, which consists of photographic portraits of adults and children expressing various emotions. The uniqueness of this work is due to the approach to organizing the creation of stimulus material, in which the models demonstrated emotions not according to an established ...
Added: December 26, 2024
Petrakova A., Лебедева Е. И., Anikudimova E., Экспериментальная психология 2024 Т. 17 № 3 С. 4–15
The work is aimed at studying the performance of emotion recognition of people of different sex and age, expressed without specified criteria, in association with «emotional families». The materials of an empirical online research obtained with the help of the crowdsourcing service «Yandex. Toloka», in which 3,590 tes- ters took part. The subjects guessed one ...
Added: December 26, 2024
Malinova O. Y., Политическая наука 2024 № 4 С. 17–44
The methodological essay argues for the need to rely on the
literature on multimodality research in studies of multimedia exhibitions. The rise of
the role of such projects in Russia is demonstrated by the cases of the historical
parks “Russia – My History”, and of the exhibition-forum “Russia” on the territory
of VDNH, that is also planned to be ...
Added: December 17, 2024
Kolmogorova A., Хлебникова В. А., Человек: образ и сущность. Гуманитарные аспекты 2025 № 2(62) С. 45–68
В статье рассматриваются результаты применения методологии, известной как Байесовская сыворотка правды (BTS), в задаче эмоциональной разметки текстов для последующего обучения нейросетевых моделей. Суть метода состоит в том, что информантов сначала просят оценить некоторый феномен со своей собственной точки зрения, а затем – предсказать, какой ответ (или оценку) выберет наибольший процент других отвечающих на тот же ...
Added: November 29, 2024