?
HSE-NN Team at the 4th ABAW Competition: Multi-task Emotion Recognition and Learning from Synthetic Images
Cornell University
,
2022.
In this paper, we present the results of the HSE-NN team in the 4th competition on Affective Behavior Analysis in-the-wild (ABAW). The novel multi-task EfficientNet model is trained for simultaneous recognition of facial expressions and prediction of valence and arousal on static photos. The resulting MT-EmotiEffNet extracts visual features that are fed into simple feed-forward neural networks in the multi-task learning challenge. We obtain performance measure 1.3 on the validation set, which is significantly greater when compared to either performance of baseline (0.3) or existing models that are trained only on the s-Aff-Wild2 database. In the learning from synthetic data challenge, the quality of the original synthetic training set is increased by using the super-resolution techniques, such as Real-ESRGAN. Next, the MT-EmotiEffNet is fine-tuned on the new training set. The final prediction is a simple blending ensemble of pre-trained and fine-tuned MT-EmotiEffNets. Our average validation F1 score is 18% greater than the baseline convolutional neural network.
Keywords: распознавание эмоций28.23.15 Распознавание образов. Обработка изображенийFacial Expression Recognitionmulti-task learningConvolutional neural network (CNN)обработка изображений лиц
Publication based on the results of:
Savchenko A., , in : 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). : IEEE, 2022. P. 2358-2365.
In this paper, we consider the problem of real-time video-based facial emotion analytics, namely, facial expression recognition, prediction of valence and arousal and detection of action unit points. We propose the novel frame-level emotion recognition algorithm by extracting facial features with the single EfficientNet model pre-trained on Affect-Net. The predictions for sequential frames are smoothed ...
Added: August 29, 2022
Savchenko A., Savchenko L., Makarov I., IEEE Transactions on Affective Computing 2022 Vol. 13 No. 4 P. 2132-2143
In this paper, behaviour of students in the e-learning environment is analyzed. The novel pipeline is proposed based on video facial processing. At first, face detection, tracking and clustering techniques are applied to extract the sequences of faces of each student. Next, a single efficient neural network is used to extract emotional features in each ...
Added: July 14, 2022
Savchenko A., Milov V., Optical Memory and Neural Networks (Information Optics) 2016 Vol. 25 No. 2 P. 79-87
Decision support in equipment condition monitoring systems with image processing is analyzed. Long-run accumulation of information about earlier made decisions is used to realize the adaptiveness of the proposed approach. It is shown that unlike conventional classification problems, the recognition of abnormalities uses training samples supplemented with reward estimates of earlier decisions and can be ...
Added: July 10, 2016
A. V. Savchenko, L. V. Savchenko, Information Sciences 2023 Vol. 648 Article 119540
This article introduces the novel technique to reduce the computation time for classifying a sequence of observations (frames), such as a video stream, where each observation is described by high-dimensional embeddings extracted by a deep neural network. By using the methodology of granular computing, an observed sequence is represented at various scales using different frame ...
Added: August 27, 2023
Cham : Springer, 2020
ICIAR 2020 was the 17th edition of the series of annual conferences on Image Analysis and Recognition, organized, this year, as a virtual conference due to the pandemic outbreak of Covid-19 affecting all the world, with an intensity never felt by the humanity in the last hundred years. These are difficult and challenging times, nevertheless ...
Added: October 1, 2020
Savchenko A., Компьютерная оптика 2018 Т. 42 № 1 С. 149-158
In this paper we study the image recognition tasks, in which images are described by high dimensional feature vectors extracted with deep convolutional neural networks and principal component analysis. In particular, we focus on the problem of high computational complexity of statistical approach with non-parametric estimates of probability density implemented by the probabilistic neural network. ...
Added: April 11, 2018
Savchenko A., Информационные системы и технологии 2015 № 4(90) С. 28-38
Рассмотрена проблема недостаточной вычислительной эффективности вероятностной нейронной сети (ВНС) в задачах распознавания образов при наличии в базе данных для каждого класса небольшого числа эталонов. На основе проекционных оценок плотности распределения с ядром Фейера и наивного предположения о независимости признаков классифицируемого объекта синтезирована новая модификация ВНС. Экспериментально показано, что предложенный классификатор оказался несколько точнее и намного ...
Added: October 8, 2015
Savchenko A., Машинное обучение и анализ данных 2015 Т. 1 № 11 С. 1500-1516
Исследуется проблема малых выборок в задаче статистического распознавания образов на основе методов ближайших соседей, точность которых во многом определяется выбранной мерой близости, при этом их реализация в режиме реального времени может оказаться невозможной уже при наличии тысяч классов. Для преодоления указанных проблем предложен новый подход к разработке классификаторов с посегментным анализом однородности и быстрой последовательной ...
Added: September 10, 2015
Savchenko A., Belova N. S., International Journal of Applied Mathematics and Computer Science 2015 Vol. 25 No. 4 P. 915-925
The paper is focused on the problem of multi-class classification of composite (piecewise-regular) objects (e.g., speech signals, complex images, etc.). We propose a mathematical model of composite object representation as a sequence of independent segments. Each segment is represented as a random sample of independent identically distributed feature vectors. Based on this model and statistical ...
Added: September 10, 2015
Самара : Предприятие "Новая техника", 2018
Конференции ИТНТ-2018 проводится с целью предоставления возможности научных дискуссий и обсуждения результатов фундаментальных и прикладных исследований в области информационных технологий и нанотехнологий, привлечения молодежи в сферу передовых научных исследований, обмена опытом научнообразовательной деятельности при подготовке ИТНТ-специалистов. Тематика Конференции ИТНТ-2018 охватывает широкий круг областей применения информационных технологий в науке и высокотехнологичных отраслях промышленности. Основными направлениями работы ...
Added: October 18, 2018
Savchenko A., Записки научных семинаров ПОМИ РАН 2021 Т. 499 С. 267-283
In this paper fast image recognition techniques based on statistical sequential analysis are discussed. We examine the possibility to sequentially process the principal components and organize a convolutional neural net- work with early exits. Particular attention is paid to sequentially learn multi-task lightweight neural network model to predict several facial at- tributes (age, gender and ...
Added: January 27, 2021
Savchenko A., Milov V., Procedia Computer Science 2017 Vol. 103 P. 316-323
In this paper we focus on two essential problems of maintenance decision support systems, namely, 1) detection of potential dangerous situation, and 2) classification of this situation in order to recommend an appropriate repair action. The former task is usually solved with the known statistical process control techniques. The latter problem can be reduced to ...
Added: February 8, 2017
Savchenko A., Pattern Recognition 2017 Vol. 61 P. 459-469
An exhaustive search of all classes in pattern recognition methods cannot be implemented in real-time, if the database contains a large number of classes. In this paper we introduce a novel probabilistic approximate nearest-neighbor (NN) method. Despite the most of known fast approximate NN algorithms, our method is not heuristic. The joint probabilistic densities (likelihoods) ...
Added: August 30, 2016
Samara : CEUR Workshop Proceedings, 2020
This volume contains the papers presented at the session "Image Processing and Earth Remote Sensing" within the VI International Conference on Information Technology and Nanotechnology (ITNT-2020). The conference was held in Samara, Russia, during May 26-29, 2020 (itnt-conf.org). The conference is a forum for leading researchers from all over the world aimed to discuss the ...
Added: October 1, 2020
Gostev I. M., Advanced Materials Research 2014 Vol. 837 P. 381-386
Methods of identification of the form of objects based on the signature analysis and invariant to affine transformations are considered. It is shown as these methods it is possible to apply to surface quality assurance. Questions of sensitivity of these methods are considered. Dependences of these methods on noise are brought. ...
Added: November 28, 2013
[б.и.], 2019
Конференции ИТНТ-2019 проводится с целью предоставления возможности научных дискуссий и обсуждения результатов фундаментальных и прикладных исследований в области информационных технологий и нанотехнологий, привлечение молодежи в сферу передовых научных исследований, обмен опытом научно-образовательной деятельности при подготовке ИТНТ-специалистов.. Тематика Конференции ИТНТ-2019 охватывает широкий круг областей применения информационных технологий в науке и высокотехнологичных отраслях промышленности. Основными направлениями работы Конференции ИТНТ-2018 ...
Added: December 4, 2018
Юго-западный государственный университет, 2018
Сборник содержит материалы XIV международной конференции «Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации» (Курск, 25-28 сентября 2018 г.), целью которой является ознакомление с имеющимися достижениями по созданию оптико-электронных приборов, систем и внедрение информационных технологий в научные исследования, учебный процесс и промышленность, а также координация по эффективному их применению в ...
Added: January 9, 2019
Kharchevnikova A., Savchenko A., Компьютерная оптика 2020 Т. 44 № 4 С. 618-626
В работе рассматривается задача извлечения предпочтений пользователя по его фотоальбому. Предложен новый подход на основе автоматического порождения текстовых описаний фотографий и последующей классификации таких описаний. Проведен анализ известных методов создания аннотаций по изображению на основе свёрточных и рекуррентных (Long short-term memory) нейронных сетей. С использованием набора данных Google’s Conceptual Captions обучены новые модели, в которых ...
Added: September 16, 2020
IEEE, 2018
Added: December 2, 2018
Savchenko A., Optimization Letters 2017 Vol. 11 No. 2 P. 329-341
This paper addresses the problem of insufficient performance of statistical classification with the medium-sized database (thousands of classes). Each object is represented as a sequence of independent segments. Each segment is defined as a random sample of independent features with the distribution of multivariate exponential type. To increase the speed of the optimal Kullback-Leibler minimum ...
Added: September 10, 2015
Курск : Юго-Западный университет, 2017
Сборник содержит материалы XIII Международной конференции «Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации» (Курск, 16-19 мая 2017 г.), целью которой является ознакомление с имеющимися достижениями по созданию оптико-электронных приборов, систем и внедрению информационных технологий в научные исследования, учебный процесс и промышленность, а также координация по эффективному их применению в ...
Added: November 9, 2017
М. : Издательский центр «Российский государственный гуманитарный университет», 2019
Сборник включает 27 докладов международной конференции по компьютерной лингвистике и интеллектуальным технологиям «Диалог 2019», не вошедшие в ежегодник «Компьютерная лингвистика и интеллектуальные технологии», но рекомендованные Программным Комитетом к представлению на конференции. Для специалистов в области теоретической и прикладной лингвистики и интеллектуальных технологий. ...
Added: December 10, 2019
Karpov V. E., Karpova I. P., Procedia Engineering 2015 Vol. 100 P. 1459-1468
Work solutions are proposed for problems of leader definition and role distribution in homogeneous groups of robots. It is shown that transition from a swarm to a collective of robots with hierarchical organization is possible using exclusively local interaction. The local revoting algorithm is central to the procedure for choice of leader while redistribution of roles can ...
Added: March 14, 2015
Chernyshev S. V., Cherepanov E. A., Pankratiev E. V. et al., Journal of Mathematical Sciences 2005 Vol. 128 No. 6 P. 3487-3495
Added: January 27, 2014