Fast Depth Map Super-Resolution Using Deep Neural Network

Alisa Korinevskaya; I. Makarov

doi:10.1109/ISMAR-Adjunct.2018.00047

Публикации

?

Fast Depth Map Super-Resolution Using Deep Neural Network

P. 117–122.

Alisa Korinevskaya, Макаров И. А.

Depth map super-resolution is a challenging computer vision problem. In this paper, we present two deep convolutional neural networks solving the problem of single depth map super-resolution. Both networks learn residual decomposition and trained with specific perceptual loss improving sharpness and perceptive quality of the upsampled depth map. Several experiments on various depth super-resolution benchmark datasets show state-of-art performance in terms of RMSE, SSIM, and PSNR metrics while allowing us to process depth super-resolution in real time with over 25-30 frames per second rate.

Язык: английский

Полный текст

DOI

Текст на другом сайте

Ключевые слова: Mixed Reality Semi-Dense Depth Map Interpolation Deep Convolutional Neural Networks depth reconstruction Depth Map Super Resolution Perceptual Loss реконструкция глубины

В книге

Proceedings of IEEE International Symposium on Mixed and Augmented Reality (ISMAR'18)

NY: IEEE, 2019.

Обучение распознаванию эмоций посредством мобильного приложения «ТРОПЭМО»

Шадрина Е. В., Мохова В. О., Загоскин В. А. и др., Нижегородский психологический альманах 2024 № 2

В статье рассмотрена задача обучения распознаванию эмоций по фотографиям. Был осуществлен обзор и анализ отечественных и зарубежных работ ученых, занимающихся проблемой эмоционального интеллекта. Рассмотрены его формирование, влияние на деятельность человека и существующие варианты его структуры, а также выделены общие черты в понимании эмоционального интеллекта. Эмоциональный интеллект понимается как система умственных способностей, позволяющая идентифицировать, управлять своими ...

Добавлено: 9 апреля 2026 г.

Self-supervised recurrent depth estimation with attention mechanisms

Макаров И. А., Bakhanova M., Nikolenko S. и др., PeerJ Computer Science 2022 Vol. 8 Article e865

Depth estimation has been an essential task for many computer vision applications, especially in autonomous driving, where safety is paramount. Depth can be estimated not only with traditional supervised learning but also via a self-supervised approach that relies on camera motion and does not require ground truth depth maps. Recently, major improvements have been introduced ...

Добавлено: 1 февраля 2022 г.

Learning Loss for Active Learning in Depth Reconstruction Problem

Макаров И. А., Guschenko-Cheverda I., , in: Proceedings of IEEE 21st International Symposium on Computational Intelligence and Informatics (CINTI'21), 18-20 Nov. 2021.: NY: IEEE, 2021. P. 000115–000120.

Добавлено: 19 января 2022 г.

Depth Inpainting via Vision Transformer

Макаров И. А., Borisenko G., , in: Adjunct Proceedings of IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct).: NY: IEEE, 2021. P. 286–291.

Добавлено: 15 ноября 2021 г.

On the generalization ability of data-driven models in the problem of total cloud cover retrieval

Krinitskiy M., Alexandrova M., Вереземская П. С. и др., Remote Sensing 2021 Vol. 13 No. 2 Article 326

Добавлено: 24 сентября 2021 г.

Fast Depth Reconstruction Using Deep Convolutional Neural Networks

Dmitrii Maslov, Макаров И. А., , in: Advances in Computational Intelligence: 16th International Work-Conference on Artificial Neural Networks, IWANN 2021, Virtual Event, June 16–18, 2021, Proceedings, Part I* 1. Vol. 12861.: Springer, 2021. Ch. 38 P. 456–467.

In this paper, we study depth reconstruction via RGB-based, Sparse-Depth, and RGBd approaches. We showed that combination of RGB and Sparse Depth approach in RGBd scenario provides the best results. We also proved that the models performance can be further tuned via proper selection of architecture blocks and number of depth points guiding RGB-to-depth reconstruction. ...

Добавлено: 1 сентября 2021 г.

Deep Convolutional Neural Networks Help Scoring Tandem Mass Spectrometry Data in Database-Searching Approaches

Kudriavtseva P., Kashkinov M., Kertész-Farkas A., Journal of Proteome Research 2021 Vol. 20 No. 10 P. 4708–4717

Spectrum annotation is a challenging task due to the presence of unexpected peptide fragmentation ions as well as the inaccuracy of the detectors of the spectrometers. We present a deep convolutional neural network, called Slider, which learns an optimal feature extraction in its kernels for scoring mass spectrometry (MS)/MS spectra to increase the number of ...

Добавлено: 30 августа 2021 г.

American and Russian Sign Language Dactyl Recognition

Макаров И. А., Nikolay Veldyaykin, Maxim Chertkov и др., , in: Proceedings of the 12th ACM International Conference on PErvasive Technologies Related to Assistive Environments (PETRA '19).: NY: ACM, 2019. P. 204–210.

Добавлено: 10 июля 2021 г.

Online supervised attention-based recurrent depth estimation from monocular video

Dmitrii Maslov, Макаров И. А., PeerJ Computer Science 2020 Vol. 6 No. e317 P. 1–22

Autonomous driving highly depends on depth information for safe driving. Recently, major improvements have been taken towards improving both supervised and self-supervised methods for depth reconstruction. However, most of the current approaches focus on single frame depth estimation, where quality limit is hard to beat due to limitations of supervised learning of deep neural networks ...

Добавлено: 27 октября 2020 г.

Event Recognition with Automatic Album Detection based on Sequential Grouping of Confidence Scores and Neural Attention

Савченко А. В., , in: Proceedings of International Joint Conference on Neural Networks 2020 (IJCNN 2020).: Piscataway: IEEE, 2020. P. 1–8.

Добавлено: 15 октября 2020 г.

Sequential Analysis with Specified Confidence Level and Adaptive Convolutional Neural Networks in Image Recognition

Савченко А. В., , in: Proceedings of International Joint Conference on Neural Networks 2020 (IJCNN 2020).: Piscataway: IEEE, 2020. P. 1–8.

Добавлено: 15 октября 2020 г.

A New Sport Teams Logo Dataset for Detection Tasks

Kuznetsov A., Савченко А. В., , in: Proceedings of the International Conference on Computer Vision and Graphics (ICCVG 2020)Vol. 12334.: Cham: Springer, 2020. Ch. 8 P. 87–97.

Добавлено: 1 октября 2020 г.

Detection and Recognition of Food in Photo Galleries for Analysis of User Preferences

Miasnikov E., Савченко А. В., , in: Proceedings of International Conference on Image Analysis and Recognition (ICIAR 2020)Vol. 12131.: Cham: Springer, 2020. Ch. 9 P. 83–94.

Добавлено: 1 октября 2020 г.

Извлечение предпочтений пользователя на основе методов автоматического порождения текстовых описаний изображений фотоальбома

Харчевникова А. С., Савченко А. В., Компьютерная оптика 2020 Т. 44 № 4 С. 618–626

В работе рассматривается задача извлечения предпочтений пользователя по его фотоальбому. Предложен новый подход на основе автоматического порождения текстовых описаний фотографий и последующей классификации таких описаний. Проведен анализ известных методов создания аннотаций по изображению на основе свёрточных и рекуррентных (Long short-term memory) нейронных сетей. С использованием набора данных Google’s Conceptual Captions обучены новые модели, в которых ...

Добавлено: 16 сентября 2020 г.

Event Recognition Based on Classification of Generated Image Captions

Савченко А. В., Miasnikov E., , in: Advances in Intelligent Data Analysis XVIII (IDA 2020)Vol. 12080.: Cham: Springer, 2020. Ch. 33 P. 418–430.

Добавлено: 17 мая 2020 г.

American and Russian Sign Language Dactyl Recognition and Text2Sign Translation

Макаров И. А., Вельдяйкин Н. О., Maxim Chertkov и др., , in: Analysis of Images, Social Networks and Texts. 8th International Conference AIST 2019.: Springer, 2019. P. 309–320.

Sign language is the main way to communicate for people from deaf community. However, common people mostly do not know sign language. In this paper, we overview several real-time sign language dactyl recognition systems using deep convolutional neural networks. These systems are able to recognize dactylized words gestured by signs for each letter. We evaluate ...

Добавлено: 4 февраля 2020 г.

Real-time Vision-based Depth Reconstruction with NVidia Jetson

Bokovoy A., Muravyev K., Яковлев К. С., , in: Proceedings of the 2019 European Conference on Mobile Robotics (ECMR 2019).: Prague: IEEE, 2019. P. 1–6.

Добавлено: 15 января 2020 г.

Multi-label Image Set Recognition in Visually-Aware Recommender Systems

Demochkin K., Савченко А. В., , in: Analysis of Images, Social Networks and Texts. 8th International Conference, AIST 2019, Lecture Notes in Computer Science, Revised Selected PapersVol. 11832.: Cham: Springer, 2019. Ch. 26 P. 291–297.

Добавлено: 22 декабря 2019 г.

Perceptual deep depth super-resolution

Voynov O., Artemov A., Egiazarian V. и др., , in: Proceedings of the IEEE International Conference on Computer Vision (ICCV 2019).: IEEE, 2019. P. 5653–5663.

Добавлено: 26 ноября 2019 г.