• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • A
  • A
  • A
  • A
  • A
Обычная версия сайта
  • RU
  • EN
  • Национальный исследовательский университет «Высшая школа экономики»
  • Публикации ВШЭ
  • Глава
  • SWARM Parallelism: Training Large Models Can Be Surprisingly Communication-Efficient
  • RU
  • EN
Расширенный поиск
Высшая школа экономики
Национальный исследовательский университет
Приоритетные направления
  • бизнес-информатика
  • государственное и муниципальное управление
  • гуманитарные науки
  • инженерные науки
  • компьютерно-математическое
  • математика
  • менеджмент
  • право
  • социология
  • экономика
по году
  • 2028
  • 2027
  • 2026
  • 2025
  • 2024
  • 2023
  • 2022
  • 2021
  • 2020
  • 2019
  • 2018
  • 2017
  • 2016
  • 2015
  • 2014
  • 2013
  • 2012
  • 2011
  • 2010
  • 2009
  • 2008
  • 2007
  • 2006
  • 2005
  • 2004
  • 2003
  • 2002
  • 2001
  • 2000
  • 1999
  • 1998
  • 1997
  • 1996
  • 1995
  • 1994
  • 1993
  • 1992
  • 1991
  • 1990
  • 1989
  • 1988
  • 1987
  • 1986
  • 1985
  • 1984
  • 1983
  • 1982
  • 1981
  • 1980
  • 1979
  • 1978
  • 1977
  • 1976
  • 1975
  • 1974
  • 1973
  • 1972
  • 1971
  • 1970
  • 1969
  • 1968
  • 1967
  • 1966
  • 1965
  • 1964
  • 1963
  • 1958
  • еще
Тематика
Новости
1 октября 2026 г.
Смыслы, скорость и локальный код: как изменится потребительский спрос в креативных индустриях к 2029 году
Институт развития креативных индустрий ФКИ ВШЭ подвел итоги масштабного Трендвотчинг-исследования, проведенного весной 2026 года. В нем приняли участие более 300 ведущих экспертов. Одним из ключевых выводов стало понимание: потребитель больше не покупает продукт как набор функций. Он выбирает отношение, скорость, смысл и личную вовлеченность. В качестве доминирующего тренда на трехлетнем горизонте зафиксирован переход от материальных характеристик продукта к нематериальным.
1 октября 2026 г.
Российские ученые оценили скрытые риски болезней сердца у 43 тысяч человек
Исследователи НИУ ВШЭ и «Биотехнологического кампуса» проанализировали более 43 000 геномов здоровых участников Национальной генетической инициативы «100 000+Я». У 559 человек обнаружили патогенные или вероятно патогенные варианты генов, связанные с риском сердечно-сосудистых заболеваний. Такие данные позволяют раньше начать лечение или провести дополнительное обследование. О результатах исследования ученые рассказали на конгрессе «Генетика и сердце» в НИУ ВШЭ.
30 сентября 2026 г.
Ученые НИУ ВШЭ - Санкт-Петербург нашли способ ускорения нейросетей при помощи микролазеров
Ученые Международной лаборатории квантовой оптоэлектроники НИУ ВШЭ — Санкт-Петербург и Лазерного института Академии наук Шаньдунь (Китай) смогли напрямую сопоставить скорость микродисковых лазеров, работающих от оптической и электрической энергии. Результаты позволят оптимизировать работу источников излучения в фотонных чипах для нейросетей и дата-центров. Исследование опубликовано в журналеJournal of Lightwave Technology.

 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!

Публикации
  • Книги
  • Статьи
  • Главы в книгах
  • Препринты
  • Верификация публикаций
  • Расширенный поиск
  • Правила использования материалов
  • Наука в ВШЭ

?

SWARM Parallelism: Training Large Models Can Be Surprisingly Communication-Efficient

P. 29416–29440.
Ryabinin Max, Dettmers T., Diskin Michael, Borzunov Alexander
Язык: английский
Полный текст
DOI
Ключевые слова: communication efficiencydistributed trainingmodel parallelism

В книге

Proceedings of the 40th International Conference on Machine Learning: Volume 202: International Conference on Machine Learning, 23-29 July 2023, Honolulu, Hawaii, USA
Vol. 202: International Conference on Machine Learning, 23-29 July 2023, Honolulu, Hawaii, USA. , PMLR, 2023.
Похожие публикации
A Picture is Worth 7.17 Words: Learning Categories from Examples and Definitions
Moskvichev A., Tikhonov R., Steyvers M., , in: Proceedings of the 41th Annual Conference of the Cognitive Science Society.: Cognitive Science Society, 2019. P. 2406–2412.
Добавлено: 1 августа 2019 г.
  • О ВЫШКЕ
  • Цифры и факты
  • Руководство и структура
  • Устойчивое развитие в НИУ ВШЭ
  • Преподаватели и сотрудники
  • Корпуса и общежития
  • Закупки
  • Обращения граждан в НИУ ВШЭ
  • Фонд целевого капитала
  • Противодействие коррупции
  • Сведения о доходах, расходах, об имуществе и обязательствах имущественного характера
  • Сведения об образовательной организации
  • Людям с ограниченными возможностями здоровья
  • Единая платежная страница
  • Работа в Вышке
  • ОБРАЗОВАНИЕ
  • Лицей
  • Довузовская подготовка
  • Олимпиады
  • Прием в бакалавриат
  • Вышка+
  • Прием в магистратуру
  • Аспирантура
  • Дополнительное образование
  • Центр развития карьеры
  • Бизнес-инкубатор ВШЭ
  • Образовательные партнерства
  • Обратная связь и взаимодействие с получателями услуг
  • НАУКА
  • Научные подразделения
  • Исследовательские проекты
  • Мониторинги
  • Диссертационные советы
  • Защиты диссертаций
  • Академическое развитие
  • Конкурсы и гранты
  • Внешние научно-информационные ресурсы
  • РЕСУРСЫ
  • Библиотека
  • Издательский дом ВШЭ
  • Книжный магазин «БукВышка»
  • Типография
  • Медиацентр
  • Журналы ВШЭ
  • Публикации
  • http://www.minobrnauki.gov.ru/
    Министерство науки и высшего образования РФ
  • https://edu.gov.ru/
    Министерство просвещения РФ
  • https://elearning.hse.ru/mooc
    Массовые открытые онлайн-курсы
  • НИУ ВШЭ1993–2026
  • Адреса и контакты
  • Условия использования материалов
  • Политика обработки персональных данных
  • Правила применения рекомендательных технологий в НИУ ВШЭ
  • Карта сайта
Редактору