Ensemble Distribution Distillation

Malinin A.; Mlodozeniec B.; Gales M.

АБВ
АБВ
АБВ

Обычная версия сайта

Приоритетные направления

по году

Тематика

Новости

22 мая 2026 г.

Лаборатория живых смыслов: как проект НИУ ВШЭ и СахГУ переосмысляет труд

Проект «Зеркальные лаборатории» НИУ ВШЭ — Пермь и Сахалинского государственного университета (СахГУ) изучает, как культура, среда и технологии формируют и меняют трудовые смыслы. Исследование объединяет индивидуальный опыт, профессиональные нормы, городские проблемы, творческие практики и цифровые условия труда. Руководитель Лаборатории междисциплинарных исследований по антропологии труда НИУ ВШЭ в Перми Лилия Пантелеева рассказала о работе проекта.

21 мая 2026 г.

«Пик глупости» и «долина отчаяния»: экономисты НИУ ВШЭ предложили объяснение эффекта Даннинга - Крюгера

Эффект Даннинга — Крюгера, который описывает резкий всплеск уверенности в своих силах у новичков и такое же стремительное ее падение при наборе опыта, объясняется особенностями процесса обучения и набора новых знаний. К такому выводу пришли сотрудник факультета экономических наук НИУ ВШЭ Андрей Ворчик вместе с независимым исследователем Муратом Мамышевым. Они разработали математическую модель процесса обучения и показали, как формируется и изменяется субъективная уверенность по мере накопления знаний и как преподаватель может уменьшить «долину отчаяния» для ученика.

20 мая 2026 г.

«Еж» против «родственника»: ученые измерили, как мозг реагирует на неожиданные слова в живой речи

Российские нейрофизиологи с участием исследователей из НИУ ВШЭ показали, что изучать восприятие живой речи можно с помощью вызванных потенциалов. Они доказали, что метод применим не только к отдельным словам, но и к непрерывной речи. Оказалось, что слова, сильно отличающиеся по смыслу от предыдущего контекста, мозг обрабатывает дольше, а служебные слова анализирует в два этапа: сначала определяет их грамматическую роль, а затем на этой основе предсказывает следующее слово. Исследование опубликовано в журнале Frontiers in Human Neuroscience.

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!

Публикации

?

Ensemble Distribution Distillation

Malinin A., Mlodozeniec B., Gales M.

Язык: английский

Текст на другом сайте

Ключевые слова: neural network ensembles Uncertainty Estimation Knowledge distillation

В книге

Proceedings of the 8th International Conference on Learning Representations (ICLR 2020)

ICLR, 2020.

LM-Polygraph: Uncertainty Estimation for Language Models

Fadeeva E., Vashurin R., Цвигун А. О. и др., , in: Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing.: Singapore: Association for Computational Linguistics, 2023. P. 446 –461.

Добавлено: 17 февраля 2025 г.

To Stay or Not to Stay in the Pre-train Basin: Insights on Ensembling in Transfer Learning

Садртдинов И. Р., Dmitrii Pozdeev, Dmitry P Vetrov и др., , in: Advances in Neural Information Processing Systems 36 (NeurIPS 2023).: Curran Associates, Inc., 2023. P. 15936–15964.

Добавлено: 26 февраля 2024 г.

Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics

Association for Computational Linguistics, 2022.

Добавлено: 17 мая 2022 г.

Reverse KL-Divergence Training of Prior Networks: Improved Uncertainty and Adversarial Robustness

Malinin A., Gales M., , in: Advances in Neural Information Processing Systems 32 (NeurIPS 2019).: [б.и.], 2019.

Добавлено: 1 ноября 2021 г.

Uncertainty Estimation in Autoregressive Structured Prediction

Andrey Malinin, Gales M., , in: Proceedings of the 9th International Conference on Learning Representations (ICLR 2021). ICLR, 2021.: ICLR, 2021. P. 1–31.

Добавлено: 1 ноября 2021 г.

Scaling Ensemble Distribution Distillation to Many Classes with Proxy Targets

Рябинин М. К., Malinin A., Gales M., , in: Advances in Neural Information Processing Systems 34 (NeurIPS 2021).: Curran Associates, Inc., 2021. P. 6023–6035.

Добавлено: 31 октября 2021 г.

Instagram Hashtag Prediction Using Deep Neural Networks

Anna Beketova, Макаров И. А., , in: Advances in Computational Intelligence: 16th International Work-Conference on Artificial Neural Networks, IWANN 2021, Virtual Event, June 16–18, 2021, Proceedings, Part II.: Cham: Springer, 2021. Ch. 3 P. 28–42.

*Реализация соц. сети Instagram запрещена на территории России по основаниям осуществления экстремистской деятельности. Instagram is one of the most popular photos sharing services. For more convenient content search people use hashtags (#nature, #love, etc.) in posts with photos. The author’s aim is to make hashtag prediction possible and convenient for users. The paper provides a reader with ...

Добавлено: 1 сентября 2021 г.

On Power Laws in Deep Ensembles

Лобачева Е. М., Чиркова Н. А., Кодрян М. С. и др., , in: Advances in Neural Information Processing Systems 33 (NeurIPS 2020).: Curran Associates, Inc., 2020. P. 2375–2385.

Добавлено: 29 октября 2020 г.

Uncertainty Estimation via Stochastic Batch Normalization

Ашуха А. П., Ветров Д. П., Молчанов Д. А. и др., , in: Workshop of the 6th International Conference on Learning Representations (ICLR).: International Conference on Learning Representations, ICLR, 2018. P. 1–6.

Добавлено: 31 октября 2018 г.

Метод коррекции ошибок классификации распознанных символов

Брейман А. Д., Яковлев И. А., Прикаспийский журнал: управление и высокие технологии 2014 № 1 (25) С. 102–112

Процесс распознавания текстовых документов неизбежно связан с возникновением ошибок распознавания, для выявления и исправления которых используют методы пост-обработки, как правило, опирающиеся на словарный поиск. Использование словарей позволяет достичь приемлемого качества распознавания для латиницы, кириллицы и других фонетических алфавитов, однако малопригодно для языков, в которых выделение отдельных слов в письме нехарактерно или необязательно (китайский, японский, корейский, ...

Добавлено: 27 февраля 2014 г.