Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs

Garipov T.; Izmailov P.; D. Vetrov; Gordon Wilson A.

Публикации

?

Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs

P. 1–10.

Garipov T., Izmailov P., Подоприхин Д. А., Ветров Д. П., Gordon Wilson A.

Язык: английский

Полный текст

Текст на другом сайте

Ключевые слова: Loss function deep neural networks

В книге

Advances in Neural Information Processing Systems 31 (NIPS 2018)

[б.и.], 2018.

Ансамбль современных моделей компьютерного зрения для задачи обнаружения дипфейков

Пикуль А. С., Безопасность информационных технологий 2024 Т. 31 № 4 С. 116–127

Исследуется возможность применения современных архитектур компьютерного зрения для задачи обнаружения дипфейков. Рассматриваются следующие архитектуры: EfficientNet, Vision Transformer (ViT), VisionLSTM (ViL), VisionKAN и Mamba Vision. Новизна подхода заключается в применении и сравнении работы данных архитектур, а также в их объединении в парные ансамбли для повышения точности детекции дипфейков. В работе проведен эксперимент, основанный на применении нескольких ...

Добавлено: 12 декабря 2025 г.

The Appliance of Deep Neural Networks in the Process of Managing Chemical Enterprises

Kulyasova E. V., Kulyasov N.S., Puchkov A. Y., , in: Journal of Physics: Conference Series Volume 1260, 2019 Mechanical Science and Technology Update 23–24 April 2019, Omsk, Russian Federation.: IOP Publishing, 2019. Ch. 3 P. 032024–032024.

Добавлено: 27 сентября 2024 г.

Loss function dynamics and landscape for deep neural networks trained with quadratic loss

Nakhodnov M., Кодрян М. С., Лобачева Е. М. и др., , in: Doklady MathematicsVol. 106. Issue 1: Supplement.: Pleiades Publishing, Ltd. (Плеадес Паблишинг, Лтд), 2023. P. 43–62.

Добавлено: 9 июня 2023 г.

Training Scale-Invariant Neural Networks on the Sphere Can Happen in Three Regimes

Кодрян М. С., Лобачева Е. М., Nakhodnov M. и др., , in: Thirty-Sixth Conference on Neural Information Processing Systems : NeurIPS 2022.: Curran Associates, Inc., 2022. P. 14058–14070.

Добавлено: 20 декабря 2022 г.

Simultaneous approximation of a smooth function and its derivatives by deep neural networks with piecewise-polynomial activations

Беломестный Д. В., Наумов А. А., Пучкин Н. А. и др., Neural Networks 2023 Vol. 161 P. 242–253

Добавлено: 13 июля 2022 г.

On the Periodic Behavior of Neural Network Training with Batch Normalization and Weight Decay

Лобачева Е. М., Кодрян М. С., Чиркова Н. А. и др., , in: Advances in Neural Information Processing Systems 34 (NeurIPS 2021).: Curran Associates, Inc., 2021. P. 21545–21556.

Добавлено: 29 декабря 2021 г.

Gender domain adaptation for automatic speech recognition

Соколов А. С., Савченко А. В., , in: 2021 IEEE 19th World Symposium on Applied Machine Intelligence and Informatics (SAMI).: IEEE, 2021. P. 413–418.

Добавлено: 26 сентября 2021 г.

Black-Box Optimization with Local Generative Surrogates

Белавин В. С., Устюжанин А. Е., Sergey Shirobokov и др., , in: Advances in Neural Information Processing Systems 33 (NeurIPS 2020).: Curran Associates, Inc., 2020. P. 14650–14662.

Добавлено: 14 февраля 2021 г.

On the Impact of Word Error Rate on Acoustic-Linguistic Speech Emotion Recognition: An Update for the Deep Learning Era

Соколов А. С., / Series Computer Science "arxiv.org". 2021.

Добавлено: 17 ноября 2020 г.

On Power Laws in Deep Ensembles

Лобачева Е. М., Чиркова Н. А., Кодрян М. С. и др., , in: Advances in Neural Information Processing Systems 33 (NeurIPS 2020).: Curran Associates, Inc., 2020. P. 2375–2385.

Добавлено: 29 октября 2020 г.

Structured Sparsification of Gated Recurrent Neural Networks

Лобачева Е. М., Чиркова Н. А., Markovich A. и др., , in: Thirty-Fourth AAAI Conference on Artificial IntelligenceVol. 34.: AAAI Press, 2020. Ch. 5938 P. 4989–4996.

Добавлено: 29 октября 2020 г.

Improving the Accuracy of One-Shot Detectors for Small Objects in X-ray Images

Демочкина П. В., Савченко А. В., , in: Proceedings of IEEE International Russian Automation Conference (RusAutoCon 2020).: IEEE, 2020. Ch. 110 P. 610–614.

Добавлено: 3 октября 2020 г.

Probabilistic Neural Network With Complex Exponential Activation Functions in Image Recognition

Савченко А. В., IEEE Transactions on Neural Networks and Learning Systems 2020 Vol. 31 No. 2 P. 651–660

Добавлено: 1 ноября 2019 г.

Automatic Privacy Detection in Scanned Document Images Based on Deep Neural Networks

Kopeykina Lyudmila, Савченко А. В., , in: 2019 International Russian Automation Conference (RusAutoCon).: IEEE, 2019. P. 1–6.

Добавлено: 21 октября 2019 г.

Voice command recognition in intelligent systems using deep neural networks

Соколов А. С., Савченко А. В., , in: 17th World Symposium on Applied Machine Intelligence and Informatics (SAMI).: IEEE, 2019. Ch. 19 P. 113–116.

Добавлено: 21 октября 2019 г.

Advances in Computational Intelligence. IWANN 2019

Berlin: Springer, 2019.

This two-volume set LNCS 10305 and LNCS 10306 constitutes the refereed proceedings of the 15th International Work-Conference on Artificial Neural Networks, IWANN 2019, held at Gran Canaria, Spain, in June 2019. The 150 revised full papers presented in this two-volume set were carefully reviewed and selected from 210 submissions. The papers are organized in topical sections ...

Добавлено: 29 июля 2019 г.

Averaging Weights Leads to Wider Optima and Better Generalization

Izmailov P., Garipov T., Подоприхин Д. А. и др., , in: Proceedings of the international conference on Uncertainty in Artificial Intelligence (UAI 2018).: [б.и.], 2018. P. 876–885.

Добавлено: 27 февраля 2019 г.

Применение алгоритмов машинного обучения при решении задач информационной безопасности

Назаров А. Н., Виноградов Ю. В., Сычев А. К., Системы высокой доступности 2018 Т. 14 № 4 С. 20–22

В статье изучается вопрос использования алгоритмов машинного обучения при решении задач информационной безопасности, а именно при построении систем обнаружения вторжений (IDS) нового поколения. Рассмотрены основные недостатки традиционных IDS (основанных на сигнатурных правилах) и предложены методы их решения с помощью применения алгоритмов машинного обучения. В статье приведены новые методы применения алгоритмов машинного обучения, с помощью которых ...

Добавлено: 26 февраля 2019 г.

Loss function, unbiasedness, and optimality of Gaussian graphical model selection

Калягин В. А., Колданов А. П., Колданов П. А. и др., Journal of Statistical Planning and Inference 2019 Vol. 201 P. 32–39

Добавлено: 13 февраля 2019 г.

Оценка рыночного риска на основе VaR с учетом дней ожидаемой повышенной волатильности.

Берзон Н. И., Смирнов А. А., Пилюгин Г. В., Финансы и бизнес 2018 Т. 14 № 3 С. 19–35

В настоящее время в условиях динамично изменяющейся конъюнктуры мирового фондового рынка инвестору становится крайне важно грамотно оценивать не только потенциальные доходы от вложения капитала, но и риски, возникающие в процессе такой деятельности. Наиболее значимую роль в данном случае играют рыночные риски, точность и правильность оценки которых во многом определяет финансовую устойчивость и результативность инвестиционной деятельности, ...

Добавлено: 28 ноября 2018 г.

Uncertainty Estimation via Stochastic Batch Normalization

Ашуха А. П., Ветров Д. П., Молчанов Д. А. и др., , in: Workshop of the 6th International Conference on Learning Representations (ICLR).: International Conference on Learning Representations, ICLR, 2018. P. 1–6.

Добавлено: 31 октября 2018 г.

Proceedings of the 6th International Conference on Learning Representations (ICLR 2018)

[б.и.], 2018.

Добавлено: 29 октября 2018 г.