To Stay or Not to Stay in the Pre-train Basin: Insights on Ensembling in Transfer Learning

I. Sadrtdinov; Dmitrii Pozdeev; Dmitry P Vetrov; E. Lobacheva

doi:10.48550/arXiv.2303.03374

Публикации

?

To Stay or Not to Stay in the Pre-train Basin: Insights on Ensembling in Transfer Learning

P. 15936–15964.

Садртдинов И. Р., Dmitrii Pozdeev, Dmitry P Vetrov, Лобачева Е. М.

Язык: английский

DOI

Текст на другом сайте

Ключевые слова: neural network ensembles transfer learning loss landscape model soups

В книге

Advances in Neural Information Processing Systems 36 (NeurIPS 2023)

Curran Associates, Inc., 2023.

Extraction of properties of anisotropic spin model by deep transfer learning methods

D.D. Sukhoverkhova, L.N. Shchur, , in: Параллельные вычислительные технологии – XIX всероссийская конференция с международным участием, ПаВТ'2025. Короткие статьи и описания плакатов.: Издательский центр ЮУрГУ, 2025. P. 82–89.

Мы применяем методы глубокого машинного обучения с учителем для извлечения свойств анизотропной модели Изинга. Мы рассматриваем два случая анизотропии: ортогональную и диагональную. Из предсказаний нейронной сети мы получили функции вероятности фазы, на основе которых мы измерили две величины: критическую температуру и критический показатель корреляционной длины. Мы оценили значения параметра анизотропии в обоих случаях, при которых ...

Добавлено: 4 декабря 2025 г.

Machine Learning Domain Adaptation in Spin Models with Continuous Phase Transitions

Чертенков В. И., Щур Л. Н., Physical Review E - Statistical, Nonlinear, and Soft Matter Physics 2025 Vol. 112 No. 3 Article 034104

Добавлено: 12 августа 2025 г.

Supervised and Transfer Learning for Phase Transition Research

Чертенков В. И., Щур Л. Н., Lecture Notes in Computer Science 2025 Vol. 15406 P. 434–449

Добавлено: 10 февраля 2025 г.

Transfer Machine Learning of an Anisotropic Model

D. D. Sukhoverkhova, L. N. Shchur, Lobachevskii Journal of Mathematics 2025 Vol. 46 No. 1 P. 528–534

Добавлено: 13 января 2025 г.

Влияние анизотропии на исследование критического поведения спиновых моделей методами машинного обучения

Суховерхова Д. Д., Щур Л. Н., Письма в Журнал экспериментальной и теоретической физики 2024 Т. 120 № 8 С. 644–649

В статье мы применили глубокую нейронную сеть для изучения вопроса переносимости знания между моделями статистической механики. Был проведен следующий компьютерный эксперимент. Сверточная нейронная сеть была обучена для решения задачи бинарной классификации моментальных снимков расположения спинов модели Изинга на двумерной решетке. При тестировании на вход нейронной сети подавались моментальные снимки расположения спинов модели Изинга на решетке ...

Добавлено: 25 сентября 2024 г.

Применение метода Transfer Learning к задаче машинного перевода для пары русско-хакасский

Лебедева А. Ю., В кн.: Одиннадцатая Международная конференция по компьютерной обработке тюркских языков «TurkLang 2023».: Каз.: Издательство Академии наук Республики Татарстан, 2023. С. 460–471.

Добавлено: 6 марта 2024 г.

Unsupervised domain adaptation methods for cross-species transfer of regulatory code signals

Pavel Latyshev, Fedor Pavlov, Herbert A. и др., , in: Proceedings of 11th Moscow Conference on Computational Molecular Biology MCCMB'23.: IITP RAS, 2023.

Добавлено: 1 декабря 2023 г.

Multilingual hope speech detection: A Robust framework using transfer learning of fine-tuning RoBERTa model

Малик М. Ш., Назарова А., Mona M. J. и др., Journal of King Saud University - Computer and Information Sciences 2023 Vol. 35 No. 8 Article 101736

Добавлено: 22 ноября 2023 г.

Advances in Neural Computation, Machine Learning, and Cognitive Research VII

Магай Г. И., Soroka A., Studies in Computational Intelligence, 2023.

Добавлено: 25 октября 2023 г.

Unsupervised Domain Adaptation Methods for Cross-Species Transfer of Regulatory Code Signals

Pavel Latyshev, Fedor Pavlov, Herbert A. и др., Frontiers in Big Data 2023 Vol. 6 Article 1140663

Добавлено: 8 июня 2023 г.

Ensemble Distribution Distillation

Malinin A., Mlodozeniec B., Gales M., , in: Proceedings of the 8th International Conference on Learning Representations (ICLR 2020).: ICLR, 2020.

Добавлено: 1 ноября 2021 г.

Irony detection via sentiment-based transfer learning

Zhang S., Zhang X., Chan J. и др., Information Processing and Management 2019 Vol. 56 No. 5 P. 1633–1644

Добавлено: 29 октября 2020 г.

On Power Laws in Deep Ensembles

Лобачева Е. М., Чиркова Н. А., Кодрян М. С. и др., , in: Advances in Neural Information Processing Systems 33 (NeurIPS 2020).: Curran Associates, Inc., 2020. P. 2375–2385.

Добавлено: 29 октября 2020 г.

Research of heuristic approaches for determining the tonality of text messages in natural language processing problems

Поляков Е. В., Polyakov S. V., Абрамов П., , in: Proceedings of 2019 XVI International Symposium "Problems of Redundancy in Information and Control Systems" (REDUNDANCY).: IEEE, 2019. P. 159–164.

Добавлено: 20 сентября 2020 г.

Generalized approach to sentiment analysis of short text messages in natural language processing

Поляков Е. В., Восков Л. С., Абрамов П. и др., Informatsionno-upravliaiushchie sistemy [Information and Control Systems] 2020 No. 1 P. 2–14

Добавлено: 20 февраля 2020 г.

Метод коррекции ошибок классификации распознанных символов

Брейман А. Д., Яковлев И. А., Прикаспийский журнал: управление и высокие технологии 2014 № 1 (25) С. 102–112

Процесс распознавания текстовых документов неизбежно связан с возникновением ошибок распознавания, для выявления и исправления которых используют методы пост-обработки, как правило, опирающиеся на словарный поиск. Использование словарей позволяет достичь приемлемого качества распознавания для латиницы, кириллицы и других фонетических алфавитов, однако малопригодно для языков, в которых выделение отдельных слов в письме нехарактерно или необязательно (китайский, японский, корейский, ...

Добавлено: 27 февраля 2014 г.