Moshpit SGD: Communication-Efficient Decentralized Training on Heterogeneous Unreliable Devices

M. Ryabinin; E. Gorbunov; Plokhotnyuk V.; Pekhimenko G.

Публикации

?

Moshpit SGD: Communication-Efficient Decentralized Training on Heterogeneous Unreliable Devices

P. 18195–18211.

Рябинин М. К., Горбунов Э. А., Plokhotnyuk V., Pekhimenko G.

Язык: английский

Полный текст

Текст на другом сайте

Ключевые слова: deep learning глубинное обучение distributed optimization распределенная оптимизация distributed machine learning распределенное машинное обучение

В книге

Advances in Neural Information Processing Systems 34 (NeurIPS 2021)

Curran Associates, Inc., 2021.

Method of Critical Set construction for Successive Cancellation List Decoder of Polar Codes Based on Deep Learning of Neural Networks

Котов Ф. И., Тимохин И. С., Иванов Ф. И., , in: 2023 XVIII International Symposium Problems of Redundancy in Information and Control Systems (REDUNDANCY).: IEEE, 2023.

The Successive Cancellation List (SCL) algorithm is a widely used decoding technique in communication systems. However, constructing the critical set for SCL decoding is a challenging task, as it requires a large number of computations and can lead to significant decoding delays. In this paper, a new approach to critical set construction for SCL decoding ...

Добавлено: 26 января 2026 г.

Artificial Neural Networks and Machine Learning. ICANN 2025 International Workshops and Special Sessions: 34th International Conference on Artificial Neural Networks, Kaunas, Lithuania, September 9–12, 2025, Proceedings, Part V

Cham: Springer, 2025.

Добавлено: 29 сентября 2025 г.

Deep learning deciphers the related role of master regulators and G-quadruplexes in tissue specification

Башкатов А. Б., Andreasyan A., Коновалов Д. Л. и др., Scientific Reports 2025 Vol. 15 Article 23119

G-quadruplexes (GQs) are non-canonical DNA structures encoded by G-flipons with potential roles in gene regulation and chromatin structure. Here, we explore the role of G-flipons in tissue specification. We present a deep learning-based framework for the genome-wide G-flipon predictions across 14 human tissue types. The model was trained using high-confidence experimental maps of GQ-forming sequences ...

Добавлено: 8 августа 2025 г.

Methods with Local Steps and Random Reshuffling for Generally Smooth Non-Convex Federated Optimization

Demidovich Y., Petr Ostroukhov, Malinovsky G. и др., , in: The Thirteenth International Conference on Learning Representations: ICLR 2025.: ICLR, 2025.

Добавлено: 15 июля 2025 г.

AI in drug development: advances in response, combination therapy, repositioning, and molecular design

Шайтан А. К., Science China Information Sciences 2025 Vol. 68 No. 7 Article 170102

Добавлено: 25 июня 2025 г.

An Approach to Finding a Robust Deep Learning Model

Болдырев А. С., Ратников Ф. Д., Шевелев А. А., IEEE Access 2025 Vol. 13 P. 102390–102406

Добавлено: 15 июня 2025 г.

Экономические и социальные аспекты атомной энергетики в условиях развития технологий искусственного интеллекта

Подчуфаров А. Ю., Галкина А. Н., Ванина С. С. и др., Экономика и управление: проблемы, решения 2025 Т. 5 № 4 С. 61–74

В современных условиях внедрение технологий искусственного интеллекта становится значимым фактором развития высокотехнологичных отраслей промышленности. В статье представлены результаты исследования перспектив применения интеллектуальных аналитических систем в атомной энергетике. Проанализирован опыт зарубежных стран и выявлены особенности успешных проектов с использованием искусственного интеллекта в данной области. Обоснованы рекомендации по развитию технических и социальных компетенций в отечественной атомной и ...

Добавлено: 5 июня 2025 г.

Deep learning for customs classification of goods based on their textual descriptions analysis

Рыжова А. А., Sochenkov I., , in: Proceeding 2019 Ivannikov Ispras Open Conference (ISPRAS).: IEEE Computer Society, 2019. P. 60–67.

Добавлено: 1 мая 2025 г.

Distilling Normalizing Flows

Walton S., Klyukin V., Artemev M. и др., , in: 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW).: IEEE, 2025. P. 3328–3337.

Добавлено: 1 апреля 2025 г.

2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)

Деркач Д. А., Артемьев М. Р., IEEE, 2025.

Добавлено: 1 апреля 2025 г.

Deep learning captures the effect of epistasis in multifactorial diseases

Перелыгин В. Р., Kamelin A., Syzrantsev N. и др., Frontiers in Medicine 2025 Vol. 11 Article 1479717

Добавлено: 4 марта 2025 г.

TabReD: Analyzing Pitfalls and Filling the Gaps in Tabular Deep Learning Benchmarks

Ivan Rubachev, Nikolay Kartashev, Gorishniy Y. и др., , in: Proceedings of the 13th International Conference on Learning Representations (ICLR 2025).: ICLR, 2025. P. 53831–53867.

Добавлено: 1 марта 2025 г.

Weight Perturbations for Simulating Virtual Lesions in a Convolutional Neural Network

W. Joseph MacInnes, Жожикашвили Н. А., Феурра М., , in: First International Conference, AIiH 2024, Swansea, UK, September 4–6, 2024, Proceedings, Part II. Artificial Intelligence in Healthcare. LNCS, volume 14976Vol. 14976.: Springer, 2024. P. 221–234.

Добавлено: 28 января 2025 г.

TabR: Tabular Deep Learning Meets Nearest Neighbors

Yury Gorishniy, Ivan Rubachev, Nikolay Kartashev и др., , in: Proceedings of the 12th International Conference on Learning Representations (ICLR 2024).: ICLR, 2024.

Добавлено: 22 января 2025 г.

Deep Learning Approaches for LHCb ECAL Reconstruction

Болдырев А. С., Деркач Д. А., Ратников Ф. Д. и др., EPJ Web of Conferences 2024 Vol. 295 Article 09008

Добавлено: 8 января 2025 г.

TabM: Advancing tabular deep learning with parameter-efficient ensembling

Gorishniy Y., Котельников А. К., Бабенко А. В., , in: The Thirteenth International Conference on Learning Representations: ICLR 2025.: ICLR, 2025.

Добавлено: 24 декабря 2024 г.

Может ли искусственный интеллект прогнозировать решения суда? Систематический обзор международных исследований

Казун А. П., Мониторинг общественного мнения: Экономические и социальные перемены 2024 № 5 С. 100–122

Развитие технологий искусственного интеллекта и появление открытых баз данных судебных решений привели к стремительному совершенствованию алгоритмов, позволяющих классифицировать юридические документы и прогнозировать принимаемые судьями решения. В статье мы анализируем корпус международных исследований, посвященных вопросу о том, насколько точно ИИ может предсказывать решения судей и, как следствие, сможет ли он в перспективе заменить судью-человека. Ответ на ...

Добавлено: 29 ноября 2024 г.

Stalactite: toolbox for fast prototyping of vertical federated learning systems

Zakharova A., Alexandrov D., Khodorchenko M. и др., , in: RecSys '24: Proceedings of the 18th ACM Conference on Recommender Systems.: Association for Computing Machinery (ACM), 2024. P. 1187–1190.

Добавлено: 24 ноября 2024 г.