Bayesian Sparsification of Gated Recurrent Neural Networks

E. Lobacheva; N. Chirkova; D. Vetrov

Публикации

?

Bayesian Sparsification of Gated Recurrent Neural Networks

P. 1–6.

Лобачева Е. М., Чиркова Н. А., Ветров Д. П.

Язык: английский

Полный текст

Текст на другом сайте

Ключевые слова: recurrent neural networks рекуррентные нейронные сети

В книге

Workshop on Compact Deep Neural Network Representation with Industrial Applications, Thirty-second Conference on Neural Information Processing Systems

Montréal: [б.и.], 2018.

Comparative Study of Training Methods and Architectures of Echo State Networks

Андросов И. А., Proceedings of the Institute for System Programming of the RAS 2026 Vol. 38 No. 3 P. 87–114

В работе рассматриваются сети эхо-состояний (Echo State Network, ESN), которые являются одними из самых распространенных способов реализации резервуарных вычислений. Они состоят из рекуррентной нейронной сети, веса которой выбираются один раз и не обучаются, и выходного, обычно линейного, обучаемого слоя. Такой подход позволяет создавать энергоэффективные и быстрые нейронные сети, способные обучаться в режиме реального времени. Но ...

Добавлено: 26 мая 2026 г.

Ансамбль современных моделей компьютерного зрения для задачи обнаружения дипфейков

Пикуль А. С., Безопасность информационных технологий 2024 Т. 31 № 4 С. 116–127

Исследуется возможность применения современных архитектур компьютерного зрения для задачи обнаружения дипфейков. Рассматриваются следующие архитектуры: EfficientNet, Vision Transformer (ViT), VisionLSTM (ViL), VisionKAN и Mamba Vision. Новизна подхода заключается в применении и сравнении работы данных архитектур, а также в их объединении в парные ансамбли для повышения точности детекции дипфейков. В работе проведен эксперимент, основанный на применении нескольких ...

Добавлено: 12 декабря 2025 г.

Application of Large Language Models to Solving Differential Equations: Constructing Baseline Models with LSTM and GRU

Сурков А. Ю., Захаров В. Ю., Sergei Koltcov и др., , in: Smart Technologies, Systems and Applications: 4th International Conference, SmartTech-IC 2024, Quito, Ecuador, December 2–4, 2024, Revised Selected Papers, Part IIVol. 2: Revised Selected Papers, Part II.: Springer, 2025. P. 239–252.

Добавлено: 11 сентября 2025 г.

Using a Recurrent Neural Network To Inform the Use of Prostate- specific Antigen (PSA) and PSA Density for Dynamic Monitoring of the Risk of Prostate Cancer Progression on Active Surveillance

Sushentsev N., Abrego L., Colarieti A. и др., EUROPEAN UROLOGY OPEN SCIENCE 2023 Vol. 52 P. 36–39

Добавлено: 28 февраля 2024 г.

Прогнозирование энергопотребления на основе автоматического машинного обучения

Данилов К. В., Автоматизация. Современные технологии 2020 Т. 74 № август 2020 С. 402–407

Рассмотрена задача прогнозирования энергопотребления на основе автоматического машинного обучения. Приведена схема процесса автоматического создания и применения модели прогнозирова ния. Предлагаемый подход апробирован на основе данных о потреблении электроэнергии в регионах России. Проведённый вычислительный эксперимент показал высокую эффективность разработан ной модели. Точность прогнозирования составила 97...99 %. ...

Добавлено: 13 июня 2022 г.

Self-supervised recurrent depth estimation with attention mechanisms

Макаров И. А., Bakhanova M., Nikolenko S. и др., PeerJ Computer Science 2022 Vol. 8 Article e865

Depth estimation has been an essential task for many computer vision applications, especially in autonomous driving, where safety is paramount. Depth can be estimated not only with traditional supervised learning but also via a self-supervised approach that relies on camera motion and does not require ground truth depth maps. Recently, major improvements have been introduced ...

Добавлено: 1 февраля 2022 г.

On the Embeddings of Variables in Recurrent Neural Networks for Source Code

Чиркова Н. А., , in: 2021 Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL 2021).: Association for Computational Linguistics, 2021. P. 2679–2689.

Добавлено: 31 августа 2021 г.

Deep learning approach for predicting functional Z-DNA regions using omics data

Beknazarov N., Джин С., Попцова М. С., Scientific Reports 2020 Vol. 10 P. 19134

Computational methods to predict Z-DNA regions are in high demand to understand the functional role of Z-DNA. The previous state-of-the-art method Z-Hunt is based on statistical mechanical and energy considerations about B- to Z-DNA transition using sequence information. Z-DNA CHiP-seq experiment results showed little overlap with Z-Hunt predictions implying that sequence information only is not ...

Добавлено: 11 декабря 2020 г.

Structured Sparsification of Gated Recurrent Neural Networks

Лобачева Е. М., Чиркова Н. А., Markovich A. и др., , in: Thirty-Fourth AAAI Conference on Artificial IntelligenceVol. 34.: AAAI Press, 2020. Ch. 5938 P. 4989–4996.

Добавлено: 29 октября 2020 г.

Morphological segmentation with sequence to sequence neural network

Arefyev, N.V., Gratsianova T. Y., Popov K., , in: Computational Linguistics and Intellectual Technologies. International Conference "Dialogue 2018" Proceedings.: M.: Conference Proceedings Editorial board, 2018. P. 85–95.

Добавлено: 9 октября 2020 г.

Efficient Language Modeling with Automatic Relevance Determination in Recurrent Neural Networks

Кодрян М. С., Грачев А. М., Игнатов Д. И. и др., , in: Proceedings of the 4th Workshop on Representation Learning for NLP (RepL4NLP-2019)Issue W19-43.: Association for Computational Linguistics, 2019. P. 40–48.

Добавлено: 1 ноября 2019 г.

Compression of recurrent neural networks for efficient language modeling

Грачев А. М., Игнатов Д. И., Савченко А. В., Applied Soft Computing Journal 2019 Vol. 79 P. 354–362

Добавлено: 12 июня 2019 г.

Continuous Gesture Recognition from sEMG Sensor Data with Recurrent Neural Networks and Adversarial Domain Adaptation

Шпильман А. А., Sosin I., Kudenko D., , in: 2018 15th International Conference on Control, Automation, Robotics and Vision (ICARCV).: IEEE, 2018. P. 1436–1441.

Movement control of artificial limbs has made big advances in recent years. New sensor and control technology enhanced the functionality and usefulness of artificial limbs to the point that complex movements, such as grasping, can be performed to a limited extent. To date, the most successful results were achieved by applying recurrent neural networks (RNNs), ...

Добавлено: 18 января 2019 г.

Bayesian Sparsification of Recurrent Neural Networks

Лобачева Е. М., Чиркова Н. А., Ветров Д. П., , in: 1st Workshop on Learning to Generate Natural Language, International Conference on Machine Learning.: [б.и.], 2017. P. 1–8.

Добавлено: 30 октября 2018 г.

SEARNN: Training RNNs with global-local losses

Leblond R., Alayrac J., Осокин А. А. и др., , in: Proceedings of the 6th International Conference on Learning Representations (ICLR 2018).: [б.и.], 2018. P. 1–16.

Добавлено: 29 октября 2018 г.