American and Russian Sign Language Dactyl Recognition and Text2Sign Translation

I. Makarov; N. Veldyaykin; Maxim Chertkov; Alexei Pokoev

doi:10.1007/978-3-030-37334-4_28

Публикации

?

American and Russian Sign Language Dactyl Recognition and Text2Sign Translation

P. 309–320.

Макаров И. А., Вельдяйкин Н. О., Maxim Chertkov, Alexei Pokoev

Sign language is the main way to communicate for people from deaf community. However, common people mostly do not know sign language. In this paper, we overview several real-time sign language dactyl recognition systems using deep convolutional neural networks. These systems are able to recognize dactylized words gestured by signs for each letter. We evaluate our approach on American (ASL) and Russian (RSL) sign languages. This solution may help fasten the process of communication for deaf people. On the contrary, we also present the algorithm for generating sign animation from text information using text-to-sign video vocabulary, which helps to integrate sign language in dubbed TV and combining with speech recognition tool provide full translation from natural language to sign language.

Язык: английский

Полный текст

DOI

Текст на другом сайте

Ключевые слова: Deep Convolutional Neural Networks Russian Sign Language РЖЯ Sign Language Translation Hand Gesture Recognition American Sign Language

В книге

Analysis of Images, Social Networks and Texts. 8th International Conference AIST 2019

Springer, 2019.

Обучение распознаванию эмоций посредством мобильного приложения «ТРОПЭМО»

Шадрина Е. В., Мохова В. О., Загоскин В. А. и др., Нижегородский психологический альманах 2024 № 2

В статье рассмотрена задача обучения распознаванию эмоций по фотографиям. Был осуществлен обзор и анализ отечественных и зарубежных работ ученых, занимающихся проблемой эмоционального интеллекта. Рассмотрены его формирование, влияние на деятельность человека и существующие варианты его структуры, а также выделены общие черты в понимании эмоционального интеллекта. Эмоциональный интеллект понимается как система умственных способностей, позволяющая идентифицировать, управлять своими ...

Добавлено: 9 апреля 2026 г.

Что значит быть глухим?

Большаков Н. В., Колесников В. В., В кн.: Альманах «Исследуя сообщество глухих: 1». [Материалы междисциплинарной конференции «Что значит быть глухим? Новые вызовы для сообщества», Дом культуры «ГЭС-2», Международная лаборатория исследований социальной интеграции Национального исследовательского университета «Высшая школа экономики», май 2023 года].: М.: V–A–С Press, 2024. С. 14–26.

Современные исследования, посвященные глухим и слабослыша- щим людям, а также глухоте в целом, в западных странах принято рассматривать в рамках такого междисциплинарного направле- ния, как Deaf Studies, появившегося во второй половине XX века. На русский язык перевести название этого направления наиболее корректно можно как «исследования сообщества глухих» в широком смысле: охватываются не только глухие и слабослышащие ...

Добавлено: 6 июня 2024 г.

Жестовый язык в онлайн-общении глухих

Большаков Н. В., Макаркин М., Меренкова В. и др., В кн.: Альманах «Исследуя сообщество глухих: 1». [Материалы междисциплинарной конференции «Что значит быть глухим? Новые вызовы для сообщества», Дом культуры «ГЭС-2», Международная лаборатория исследований социальной интеграции Национального исследовательского университета «Высшая школа экономики», май 2023 года].: М.: V–A–С Press, 2024. С. 235–254.

В зарубежных исследованиях освещались социальные феномены общения глухих пользователей в онлайне — с возможностью скрывать свою глухоту, заводить в интернете больше «слабых связей» и получать больше информации. В России проводились исследования, выявляющие популярность тех или иных социальных сетей и мессенджеров, предпочтительный способ коммуникации в группах и сообществах для глухих. Наше исследование посвящено анализу опыта использования русского ...

Добавлено: 6 июня 2024 г.

Exploring Networks of Lexical Variation in Russian Sign Language

Kimmelman V., Комарова А. А., Лучкова Л. К. и др., Frontiers in Psychology 2022 Vol. 12 Article 740734

Добавлено: 7 сентября 2023 г.

Self-supervised recurrent depth estimation with attention mechanisms

Макаров И. А., Bakhanova M., Nikolenko S. и др., PeerJ Computer Science 2022 Vol. 8 Article e865

Depth estimation has been an essential task for many computer vision applications, especially in autonomous driving, where safety is paramount. Depth can be estimated not only with traditional supervised learning but also via a self-supervised approach that relies on camera motion and does not require ground truth depth maps. Recently, major improvements have been introduced ...

Добавлено: 1 февраля 2022 г.

On the generalization ability of data-driven models in the problem of total cloud cover retrieval

Krinitskiy M., Alexandrova M., Вереземская П. С. и др., Remote Sensing 2021 Vol. 13 No. 2 Article 326

Добавлено: 24 сентября 2021 г.

Fast Depth Reconstruction Using Deep Convolutional Neural Networks

Dmitrii Maslov, Макаров И. А., , in: Advances in Computational Intelligence: 16th International Work-Conference on Artificial Neural Networks, IWANN 2021, Virtual Event, June 16–18, 2021, Proceedings, Part I* 1. Vol. 12861.: Springer, 2021. Ch. 38 P. 456–467.

In this paper, we study depth reconstruction via RGB-based, Sparse-Depth, and RGBd approaches. We showed that combination of RGB and Sparse Depth approach in RGBd scenario provides the best results. We also proved that the models performance can be further tuned via proper selection of architecture blocks and number of depth points guiding RGB-to-depth reconstruction. ...

Добавлено: 1 сентября 2021 г.

Deep Convolutional Neural Networks Help Scoring Tandem Mass Spectrometry Data in Database-Searching Approaches

Kudriavtseva P., Kashkinov M., Kertész-Farkas A., Journal of Proteome Research 2021 Vol. 20 No. 10 P. 4708–4717

Spectrum annotation is a challenging task due to the presence of unexpected peptide fragmentation ions as well as the inaccuracy of the detectors of the spectrometers. We present a deep convolutional neural network, called Slider, which learns an optimal feature extraction in its kernels for scoring mass spectrometry (MS)/MS spectra to increase the number of ...

Добавлено: 30 августа 2021 г.

American and Russian Sign Language Dactyl Recognition

Макаров И. А., Nikolay Veldyaykin, Maxim Chertkov и др., , in: Proceedings of the 12th ACM International Conference on PErvasive Technologies Related to Assistive Environments (PETRA '19).: NY: ACM, 2019. P. 204–210.

Добавлено: 10 июля 2021 г.

Event Recognition with Automatic Album Detection based on Sequential Grouping of Confidence Scores and Neural Attention

Савченко А. В., , in: Proceedings of International Joint Conference on Neural Networks 2020 (IJCNN 2020).: Piscataway: IEEE, 2020. P. 1–8.

Добавлено: 15 октября 2020 г.

Sequential Analysis with Specified Confidence Level and Adaptive Convolutional Neural Networks in Image Recognition

Савченко А. В., , in: Proceedings of International Joint Conference on Neural Networks 2020 (IJCNN 2020).: Piscataway: IEEE, 2020. P. 1–8.

Добавлено: 15 октября 2020 г.