On the Periodic Behavior of Neural Network Training with Batch Normalization and Weight Decay

E. Lobacheva; M. Kodryan; N. Chirkova; Malinin A.; D. Vetrov

Публикации

?

On the Periodic Behavior of Neural Network Training with Batch Normalization and Weight Decay

P. 21545–21556.

Лобачева Е. М., Кодрян М. С., Чиркова Н. А., Malinin A., Ветров Д. П.

Язык: английский

Текст на другом сайте

Ключевые слова: deep neural networks batch normalization

В книге

Advances in Neural Information Processing Systems 34 (NeurIPS 2021)

Curran Associates, Inc., 2021.

Ансамбль современных моделей компьютерного зрения для задачи обнаружения дипфейков

Пикуль А. С., Безопасность информационных технологий 2024 Т. 31 № 4 С. 116–127

Исследуется возможность применения современных архитектур компьютерного зрения для задачи обнаружения дипфейков. Рассматриваются следующие архитектуры: EfficientNet, Vision Transformer (ViT), VisionLSTM (ViL), VisionKAN и Mamba Vision. Новизна подхода заключается в применении и сравнении работы данных архитектур, а также в их объединении в парные ансамбли для повышения точности детекции дипфейков. В работе проведен эксперимент, основанный на применении нескольких ...

Добавлено: 12 декабря 2025 г.

The Appliance of Deep Neural Networks in the Process of Managing Chemical Enterprises

Kulyasova E. V., Kulyasov N.S., Puchkov A. Y., , in: Journal of Physics: Conference Series Volume 1260, 2019 Mechanical Science and Technology Update 23–24 April 2019, Omsk, Russian Federation.: IOP Publishing, 2019. Ch. 3 P. 032024–032024.

Добавлено: 27 сентября 2024 г.

Loss function dynamics and landscape for deep neural networks trained with quadratic loss

Nakhodnov M., Кодрян М. С., Лобачева Е. М. и др., , in: Doklady MathematicsVol. 106. Issue 1: Supplement.: Pleiades Publishing, Ltd. (Плеадес Паблишинг, Лтд), 2023. P. 43–62.

Добавлено: 9 июня 2023 г.

Training Scale-Invariant Neural Networks on the Sphere Can Happen in Three Regimes

Кодрян М. С., Лобачева Е. М., Nakhodnov M. и др., , in: Thirty-Sixth Conference on Neural Information Processing Systems : NeurIPS 2022.: Curran Associates, Inc., 2022. P. 14058–14070.

Добавлено: 20 декабря 2022 г.

Simultaneous approximation of a smooth function and its derivatives by deep neural networks with piecewise-polynomial activations

Беломестный Д. В., Наумов А. А., Пучкин Н. А. и др., Neural Networks 2023 Vol. 161 P. 242–253

Добавлено: 13 июля 2022 г.

Gender domain adaptation for automatic speech recognition

Соколов А. С., Савченко А. В., , in: 2021 IEEE 19th World Symposium on Applied Machine Intelligence and Informatics (SAMI).: IEEE, 2021. P. 413–418.

Добавлено: 26 сентября 2021 г.

Black-Box Optimization with Local Generative Surrogates

Белавин В. С., Устюжанин А. Е., Sergey Shirobokov и др., , in: Advances in Neural Information Processing Systems 33 (NeurIPS 2020).: Curran Associates, Inc., 2020. P. 14650–14662.

Добавлено: 14 февраля 2021 г.

On the Impact of Word Error Rate on Acoustic-Linguistic Speech Emotion Recognition: An Update for the Deep Learning Era

Соколов А. С., / Series Computer Science "arxiv.org". 2021.

Добавлено: 17 ноября 2020 г.

On Power Laws in Deep Ensembles

Лобачева Е. М., Чиркова Н. А., Кодрян М. С. и др., , in: Advances in Neural Information Processing Systems 33 (NeurIPS 2020).: Curran Associates, Inc., 2020. P. 2375–2385.

Добавлено: 29 октября 2020 г.

Structured Sparsification of Gated Recurrent Neural Networks

Лобачева Е. М., Чиркова Н. А., Markovich A. и др., , in: Thirty-Fourth AAAI Conference on Artificial IntelligenceVol. 34.: AAAI Press, 2020. Ch. 5938 P. 4989–4996.

Добавлено: 29 октября 2020 г.

Improving the Accuracy of One-Shot Detectors for Small Objects in X-ray Images

Демочкина П. В., Савченко А. В., , in: Proceedings of IEEE International Russian Automation Conference (RusAutoCon 2020).: IEEE, 2020. Ch. 110 P. 610–614.

Добавлено: 3 октября 2020 г.

Probabilistic Neural Network With Complex Exponential Activation Functions in Image Recognition

Савченко А. В., IEEE Transactions on Neural Networks and Learning Systems 2020 Vol. 31 No. 2 P. 651–660

Добавлено: 1 ноября 2019 г.

Automatic Privacy Detection in Scanned Document Images Based on Deep Neural Networks

Kopeykina Lyudmila, Савченко А. В., , in: 2019 International Russian Automation Conference (RusAutoCon).: IEEE, 2019. P. 1–6.

Добавлено: 21 октября 2019 г.

Voice command recognition in intelligent systems using deep neural networks

Соколов А. С., Савченко А. В., , in: 17th World Symposium on Applied Machine Intelligence and Informatics (SAMI).: IEEE, 2019. Ch. 19 P. 113–116.

Добавлено: 21 октября 2019 г.

Advances in Computational Intelligence. IWANN 2019

Berlin: Springer, 2019.

This two-volume set LNCS 10305 and LNCS 10306 constitutes the refereed proceedings of the 15th International Work-Conference on Artificial Neural Networks, IWANN 2019, held at Gran Canaria, Spain, in June 2019. The 150 revised full papers presented in this two-volume set were carefully reviewed and selected from 210 submissions. The papers are organized in topical sections ...

Добавлено: 29 июля 2019 г.

Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs

Garipov T., Izmailov P., Подоприхин Д. А. и др., , in: Advances in Neural Information Processing Systems 31 (NIPS 2018).: [б.и.], 2018. P. 1–10.

Добавлено: 27 февраля 2019 г.

Применение алгоритмов машинного обучения при решении задач информационной безопасности

Назаров А. Н., Виноградов Ю. В., Сычев А. К., Системы высокой доступности 2018 Т. 14 № 4 С. 20–22

В статье изучается вопрос использования алгоритмов машинного обучения при решении задач информационной безопасности, а именно при построении систем обнаружения вторжений (IDS) нового поколения. Рассмотрены основные недостатки традиционных IDS (основанных на сигнатурных правилах) и предложены методы их решения с помощью применения алгоритмов машинного обучения. В статье приведены новые методы применения алгоритмов машинного обучения, с помощью которых ...

Добавлено: 26 февраля 2019 г.

Uncertainty Estimation via Stochastic Batch Normalization

Ашуха А. П., Ветров Д. П., Молчанов Д. А. и др., , in: Workshop of the 6th International Conference on Learning Representations (ICLR).: International Conference on Learning Representations, ICLR, 2018. P. 1–6.

Добавлено: 31 октября 2018 г.

Proceedings of the 6th International Conference on Learning Representations (ICLR 2018)

[б.и.], 2018.

Добавлено: 29 октября 2018 г.