On Power Laws in Deep Ensembles

E. Lobacheva; N. Chirkova; M. Kodryan; D. Vetrov

Публикации

?

On Power Laws in Deep Ensembles

P. 2375–2385.

Лобачева Е. М., Чиркова Н. А., Кодрян М. С., Ветров Д. П.

Язык: английский

Полный текст

Текст на другом сайте

Ключевые слова: нейросетевые ансамбли neural network ensembles deep neural networks глубинные нейронные сети

В книге

Advances in Neural Information Processing Systems 33 (NeurIPS 2020)

Curran Associates, Inc., 2020.

Ансамбль современных моделей компьютерного зрения для задачи обнаружения дипфейков

Пикуль А. С., Безопасность информационных технологий 2024 Т. 31 № 4 С. 116–127

Исследуется возможность применения современных архитектур компьютерного зрения для задачи обнаружения дипфейков. Рассматриваются следующие архитектуры: EfficientNet, Vision Transformer (ViT), VisionLSTM (ViL), VisionKAN и Mamba Vision. Новизна подхода заключается в применении и сравнении работы данных архитектур, а также в их объединении в парные ансамбли для повышения точности детекции дипфейков. В работе проведен эксперимент, основанный на применении нескольких ...

Добавлено: 12 декабря 2025 г.

Prediction of Industrial Cyber Attacks Using Normalizing Flows

V.P. Stepashkina, M.I. Hushchyn, Doklady Mathematics 2024 Vol. 110 No. 1 P. S95–S102

This paper presents the development and evaluation of methods for detecting cyberattacks on industrial systems using neural network approaches. The focus is on the task of detecting anomalies in multivariate time series, where the diversity and complexity of potential attack scenarios require the use of advanced models. To address these challenges, a transformer-based autoencoder architecture ...

Добавлено: 25 марта 2025 г.

The Appliance of Deep Neural Networks in the Process of Managing Chemical Enterprises

Kulyasova E. V., Kulyasov N.S., Puchkov A. Y., , in: Journal of Physics: Conference Series Volume 1260, 2019 Mechanical Science and Technology Update 23–24 April 2019, Omsk, Russian Federation.: IOP Publishing, 2019. Ch. 3 P. 032024–032024.

Добавлено: 27 сентября 2024 г.

To Stay or Not to Stay in the Pre-train Basin: Insights on Ensembling in Transfer Learning

Садртдинов И. Р., Dmitrii Pozdeev, Dmitry P Vetrov и др., , in: Advances in Neural Information Processing Systems 36 (NeurIPS 2023).: Curran Associates, Inc., 2023. P. 15936–15964.

Добавлено: 26 февраля 2024 г.

Оптимизация физико-информированных нейронных сетей для решения нелинейного уравнения Шредингера

Чупров И. А., Гао Ц., Ефременко Д. С. и др., Доклады Российской академии наук. Математика, информатика, процессы управления (ранее - Доклады Академии Наук. Математика) 2023 Т. 514 № 2 С. 28–38

Физико-информированные нейронные сети (Physics Informed Neural Networks – PINN) являются перспективным методом решения уравнений в частных производных с помощью машинного обучения. В работе рассмотрено применение PINN к нелинейному уравнению Шредингера для описания ...

Добавлено: 19 декабря 2023 г.

Научная конференция ЛОМОНОСОВСКИЕ ЧТЕНИЯ. Тезисы докладов. 15-25 апреля 2019 г.сборник

Захарова Т. В., Южаков Т. А., ООО «Макс Пресс», 2019.

В настоящий сборник вошли тезисы докладов секции Вычислительной математики и кибернетики конференции «Ломоносовские чтения‑2019», проводимой Московским государственным университетом имени М. В. Ломоносова в 2019 году. ...

Добавлено: 13 декабря 2023 г.

Loss function dynamics and landscape for deep neural networks trained with quadratic loss

Nakhodnov M., Кодрян М. С., Лобачева Е. М. и др., , in: Doklady MathematicsVol. 106. Issue 1: Supplement.: Pleiades Publishing, Ltd. (Плеадес Паблишинг, Лтд), 2023. P. 43–62.

Добавлено: 9 июня 2023 г.

Training Scale-Invariant Neural Networks on the Sphere Can Happen in Three Regimes

Кодрян М. С., Лобачева Е. М., Nakhodnov M. и др., , in: Thirty-Sixth Conference on Neural Information Processing Systems : NeurIPS 2022.: Curran Associates, Inc., 2022. P. 14058–14070.

Добавлено: 20 декабря 2022 г.

Simultaneous approximation of a smooth function and its derivatives by deep neural networks with piecewise-polynomial activations

Беломестный Д. В., Наумов А. А., Пучкин Н. А. и др., Neural Networks 2023 Vol. 161 P. 242–253

Добавлено: 13 июля 2022 г.

On the Periodic Behavior of Neural Network Training with Batch Normalization and Weight Decay

Лобачева Е. М., Кодрян М. С., Чиркова Н. А. и др., , in: Advances in Neural Information Processing Systems 34 (NeurIPS 2021).: Curran Associates, Inc., 2021. P. 21545–21556.

Добавлено: 29 декабря 2021 г.

Ensemble Distribution Distillation

Malinin A., Mlodozeniec B., Gales M., , in: Proceedings of the 8th International Conference on Learning Representations (ICLR 2020).: ICLR, 2020.

Добавлено: 1 ноября 2021 г.

Gender domain adaptation for automatic speech recognition

Соколов А. С., Савченко А. В., , in: 2021 IEEE 19th World Symposium on Applied Machine Intelligence and Informatics (SAMI).: IEEE, 2021. P. 413–418.

Добавлено: 26 сентября 2021 г.

Black-Box Optimization with Local Generative Surrogates

Белавин В. С., Устюжанин А. Е., Sergey Shirobokov и др., , in: Advances in Neural Information Processing Systems 33 (NeurIPS 2020).: Curran Associates, Inc., 2020. P. 14650–14662.

Добавлено: 14 февраля 2021 г.

Deep learning approach for predicting functional Z-DNA regions using omics data

Beknazarov N., Джин С., Попцова М. С., Scientific Reports 2020 Vol. 10 P. 19134

Computational methods to predict Z-DNA regions are in high demand to understand the functional role of Z-DNA. The previous state-of-the-art method Z-Hunt is based on statistical mechanical and energy considerations about B- to Z-DNA transition using sequence information. Z-DNA CHiP-seq experiment results showed little overlap with Z-Hunt predictions implying that sequence information only is not ...

Добавлено: 11 декабря 2020 г.

On the Impact of Word Error Rate on Acoustic-Linguistic Speech Emotion Recognition: An Update for the Deep Learning Era

Соколов А. С., / Series Computer Science "arxiv.org". 2021.

Добавлено: 17 ноября 2020 г.

Structured Sparsification of Gated Recurrent Neural Networks

Лобачева Е. М., Чиркова Н. А., Markovich A. и др., , in: Thirty-Fourth AAAI Conference on Artificial IntelligenceVol. 34.: AAAI Press, 2020. Ch. 5938 P. 4989–4996.

Добавлено: 29 октября 2020 г.

Improving the Accuracy of One-Shot Detectors for Small Objects in X-ray Images

Демочкина П. В., Савченко А. В., , in: Proceedings of IEEE International Russian Automation Conference (RusAutoCon 2020).: IEEE, 2020. Ch. 110 P. 610–614.

Добавлено: 3 октября 2020 г.

Probabilistic Neural Network With Complex Exponential Activation Functions in Image Recognition

Савченко А. В., IEEE Transactions on Neural Networks and Learning Systems 2020 Vol. 31 No. 2 P. 651–660

Добавлено: 1 ноября 2019 г.

Automatic Privacy Detection in Scanned Document Images Based on Deep Neural Networks

Kopeykina Lyudmila, Савченко А. В., , in: 2019 International Russian Automation Conference (RusAutoCon).: IEEE, 2019. P. 1–6.

Добавлено: 21 октября 2019 г.