• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • A
  • A
  • A
  • A
  • A
Обычная версия сайта
  • RU
  • EN
  • Национальный исследовательский университет «Высшая школа экономики»
  • Публикации ВШЭ
  • Глава
  • On Perspectives of Zeroth-Order Methods for Large Language Models Pre-Training
  • RU
  • EN
Расширенный поиск
Высшая школа экономики
Национальный исследовательский университет
Приоритетные направления
  • бизнес-информатика
  • государственное и муниципальное управление
  • гуманитарные науки
  • инженерные науки
  • компьютерно-математическое
  • математика
  • менеджмент
  • право
  • социология
  • экономика
по году
  • 2027
  • 2026
  • 2025
  • 2024
  • 2023
  • 2022
  • 2021
  • 2020
  • 2019
  • 2018
  • 2017
  • 2016
  • 2015
  • 2014
  • 2013
  • 2012
  • 2011
  • 2010
  • 2009
  • 2008
  • 2007
  • 2006
  • 2005
  • 2004
  • 2003
  • 2002
  • 2001
  • 2000
  • 1999
  • 1998
  • 1997
  • 1996
  • 1995
  • 1994
  • 1993
  • 1992
  • 1991
  • 1990
  • 1989
  • 1988
  • 1987
  • 1986
  • 1985
  • 1984
  • 1983
  • 1982
  • 1981
  • 1980
  • 1979
  • 1978
  • 1977
  • 1976
  • 1975
  • 1974
  • 1973
  • 1972
  • 1971
  • 1970
  • 1969
  • 1968
  • 1967
  • 1966
  • 1965
  • 1964
  • 1963
  • 1958
  • еще
Тематика
Новости
27 октября 2026 г.
Российские ученые предложили универсальный метод декодирования линейных кодов
Исследователи из МИЭМ ВШЭ и Сколтеха разработали новый подход к декодированию используемых при передаче данных кодов. Их гибридный подход значительно сокращает затраты на вычисления и может быть реализован на электронных компонентах. Работа опубликована в журнале IEEE Transactions on Communications.
26 октября 2026 г.
РНФ поддержал 26 научных проектов НИУ ВШЭ
Российский научный фонд подвел итоги конкурса на получение грантов «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами». Победителями признаны более 850 проектов, в том числе 26 из Высшей школы экономики.
23 октября 2026 г.
В НИУ ВШЭ впервые прошла конференция на стыке стохастики, ИИ и финансовой математики
В середине октября в Высшей школе экономики состоялась первая научная конференция «Стохастика, искусственный интеллект и финансовая математика» (SAIMF 26). Исследователи Вышки, ведущие математики и специалисты финансового сектора обсудили фундаментальные математические задачи, современные методы искусственного интеллекта и их применение в финансах.

 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!

Публикации
  • Книги
  • Статьи
  • Главы в книгах
  • Препринты
  • Верификация публикаций
  • Расширенный поиск
  • Правила использования материалов
  • Наука в ВШЭ

?

On Perspectives of Zeroth-Order Methods for Large Language Models Pre-Training

P. 319–323.
Трутнев А. И., Демидовский А. В.
Язык: английский
DOI
Ключевые слова: artificial neural networkszeroth-order optimizationpre-trainingNatural language processing

В книге

2026 10th Scientific School Dynamics of Complex Networks and their Applications
IEEE, 2026.
Похожие публикации
Surpassing Static N:M Regime for Weight Sparsification of Large Models
Новикова И. А., Демидовский А. В., , in: 2026 10th Scientific School Dynamics of Complex Networks and their Applications.: IEEE, 2026. P. 235–239.
Добавлено: 26 октября 2026 г.
2026 10th Scientific School Dynamics of Complex Networks and their Applications
IEEE, 2026.
Добавлено: 26 октября 2026 г.
Speech and Computer. 28th International Conference, SPECOM 2026, Ohrid, North Macedonia, September 17–18, 2026, Proceedings, Part I
Springer, 2026.
Добавлено: 20 сентября 2026 г.
Speech and Computer. 28th International Conference, SPECOM 2026, Ohrid, North Macedonia, September 17–18, 2026, Proceedings, Part II. LNCS, volume 16935
Springer, 2026.
Добавлено: 20 сентября 2026 г.
Specialized Non-local Blocks for Recognizing Tumors on Computed Tomography Snapshots of Human Lungs
Aleksei Samarin, Aleksei Toropov, Dzestelova A. и др., , in: Proceedings of the 35th Conference of Open Innovations Association FRUCT, 24-26 April 2024, Tampere, FinlandIssue 1.: FRUCT Oy, 2024. P. 659–664.
Добавлено: 19 сентября 2026 г.
Wind Turbines Surface Damage Automatic Detection Using YOLOv8 with Specialized Backbone Modification
Aleksei Samarin, Мамаева А. С., Aleksei Toropov и др., , in: Proceedings of the 36th Conference of Open Innovations Association FRUCT, Helsinki, Finland, 30 October - 1 November 2024Vol. 36.: FRUCT Oy, 2024. P. 702–710.
Добавлено: 19 сентября 2026 г.
Hebb-Inspired Low Rank Adapters for Large Language Models Fine-Tuning
Alexander Demidovskij, Artyom Tugaryov, Igor Salnikov и др., , in: PRICAI 2025: Trends in Artificial Intelligence: 22nd Pacific Rim International Conference on Artificial Intelligence, PRICAI 2025, Wellington, New Zealand, November 17–21, 2025, Proceedings, Part IIIVol. 16453.: Springer, 2026. P. 603–612.
Добавлено: 21 апреля 2026 г.
PRICAI 2025: Trends in Artificial Intelligence: 22nd Pacific Rim International Conference on Artificial Intelligence, PRICAI 2025, Wellington, New Zealand, November 17–21, 2025, Proceedings, Part III
Springer, 2026.
Добавлено: 21 апреля 2026 г.
A combined multi-margin contrastive learning with granulated data for warrant identification in computational argumentation
Бехзадидуст Р., Information Sciences 2025 Vol. 699 P. 1–17
Добавлено: 13 марта 2026 г.
Semi-automatic annotation of brain vessels in magnetic resonance angiography images
Bernadotte A, Elfimov N., Menshikov I., Scientific data 2025 Vol. 13 No. 41
Добавлено: 25 февраля 2026 г.
Тесты как инструменты оценивания в вузах: трудности и решения
Антипкина И. В., Иванущенко А. В., Калабина И. А. и др., Мир психологии. Научно-методический журнал 2025 № 4(123) С. 295–316
Тестовые задания низкого качества создают риск ошибочного и несправедливого оценивания в высшем образовании. В исследовании описана аналитика банков тестовых заданий по нескольким предметам, используемых в одном из российских вузов. Аналитика проведена двумя способами: с помощью психометрических методов классической теории тестирования и с использованием нейросети Grok. Мы показали высокую частотность проблем в реальных банках вузовских тестовых ...
Добавлено: 22 января 2026 г.
Rethinking pre-training: cognitive load implications for learners with varying prior knowledge
Горбунова А. Ю., Капуза А. В., Chen O. и др., Frontiers in Psychology 2025 Vol. 16 Article 1628047
Добавлено: 10 августа 2025 г.
Формирование требований к технологическим параметрам серийного производства на основе нейросетевого подхода
Ясницкий Л. Н., Голдобин М. А., Прикладная информатика 2025 Т. 20 № 3(117) С. 85–100
В настоящее время нейросетевые методы и технологии довольно широко используются на производственных предприятиях для обнаружения, классификации, устранения и выявления причин возникновения брака, прогнозирования качества и свойств получаемых изделий, подбора оптимальных параметров производственно-технологических процессов, выявления и исследования их закономерностей. Однако остается не решенной важная задача определения таких диапазонов значений технологических параметров, при которых вероятность возникновения брака ...
Добавлено: 10 июля 2025 г.
Экономические и социальные аспекты атомной энергетики в условиях развития технологий искусственного интеллекта
Подчуфаров А. Ю., Галкина А. Н., Ванина С. С. и др., Экономика и управление: проблемы, решения 2025 Т. 5 № 4 С. 61–74
В современных условиях внедрение технологий искусственного интеллекта становится значимым фактором развития высокотехнологичных отраслей промышленности. В статье представлены результаты исследования перспектив применения интеллектуальных аналитических систем в атомной энергетике. Проанализирован опыт зарубежных стран и выявлены особенности успешных проектов с использованием искусственного интеллекта в данной области. Обоснованы рекомендации по развитию технических и социальных компетенций в отечественной атомной и ...
Добавлено: 5 июня 2025 г.
Where Do Large Learning Rates Lead Us?
Садртдинов И. Р., Кодрян М. С., Pokonechny E. и др., , in: 38th Conference on Neural Information Processing Systems (NeurIPS 2024).: [б.и.], 2024. P. 58445–58479.
Добавлено: 19 февраля 2025 г.
Big Data Analytics Approach with Multiple Text Types: The Case of the Computer Gaming
Aleksandr Belov, Zakharov F., Litvinenko E. и др., , in: International IoT, Electronics and Mechatronics Conference, Volume 2. Proceedings of IEMTRONICS 2024. LNEE, volume 1228Vol. 1228.: Springer Publishing Company, 2025. P. 275–287.
Добавлено: 26 января 2025 г.
Artificial Neural Networks as a Natural Tool in Solution of Variational Problems in Hydrodynamics
Литвиненко Н. П., IEEE Access 2024
Добавлено: 9 декабря 2024 г.
ALOE: Boosting Large Language Model Fine-Tuning with Aggressive Loss-Based Elimination of Samples
Демидовский А. В., Трутнев А. И., Тугарев А. М. и др., , in: Frontiers in Artificial Intelligence and Applications: 27th European Conference on Artificial Intelligence, 19–24 October 2024, Santiago de Compostela, SpainVol. 392.: IOS Press Ebooks, 2024. P. 3980–3986.
Добавлено: 5 ноября 2024 г.
Frontiers in Artificial Intelligence and Applications: 27th European Conference on Artificial Intelligence, 19–24 October 2024, Santiago de Compostela, Spain
IOS Press Ebooks, 2024.
Добавлено: 5 ноября 2024 г.
Gradient-free Federated Learning Methods with l1 and l2-randomization for Non-smooth Convex Stochastic Optimization Problems
Alashqar B., Гасников А. В., Двинских Д. М. и др., Computational Mathematics and Mathematical Physics 2023 Vol. 63 P. 1600–1653
Добавлено: 27 марта 2024 г.
Accelerated zeroth-order method for non-smooth stochastic convex optimization problem with infinite variance
Kornilov N., Shamir O., Lobanov A. и др., , in: Advances in Neural Information Processing Systems 36 (NeurIPS 2023).: Curran Associates, Inc., 2023. P. 64083–64102.
Добавлено: 26 марта 2024 г.
The Complex Neural Network Model for Mass Appraisal and Scenario Forecasting of the Urban Real Estate Market Value That Adapts Itself to Space and Time
Leonid N. Yasnitsky, Yasnitsky V., Aleksander O. Alekseev, Complexity 2021 Vol. 2021 Article 5392170
Добавлено: 10 февраля 2024 г.
  • О ВЫШКЕ
  • Цифры и факты
  • Руководство и структура
  • Устойчивое развитие в НИУ ВШЭ
  • Преподаватели и сотрудники
  • Корпуса и общежития
  • Закупки
  • Обращения граждан в НИУ ВШЭ
  • Фонд целевого капитала
  • Противодействие коррупции
  • Сведения о доходах, расходах, об имуществе и обязательствах имущественного характера
  • Сведения об образовательной организации
  • Людям с ограниченными возможностями здоровья
  • Единая платежная страница
  • Работа в Вышке
  • ОБРАЗОВАНИЕ
  • Лицей
  • Довузовская подготовка
  • Олимпиады
  • Прием в бакалавриат
  • Вышка+
  • Прием в магистратуру
  • Аспирантура
  • Дополнительное образование
  • Центр развития карьеры
  • Бизнес-инкубатор ВШЭ
  • Образовательные партнерства
  • Обратная связь и взаимодействие с получателями услуг
  • НАУКА
  • Научные подразделения
  • Исследовательские проекты
  • Мониторинги
  • Диссертационные советы
  • Защиты диссертаций
  • Академическое развитие
  • Конкурсы и гранты
  • Внешние научно-информационные ресурсы
  • РЕСУРСЫ
  • Библиотека
  • Издательский дом ВШЭ
  • Книжный магазин «БукВышка»
  • Типография
  • Медиацентр
  • Журналы ВШЭ
  • Публикации
  • http://www.minobrnauki.gov.ru/
    Министерство науки и высшего образования РФ
  • https://edu.gov.ru/
    Министерство просвещения РФ
  • https://elearning.hse.ru/mooc
    Массовые открытые онлайн-курсы
  • НИУ ВШЭ1993–2026
  • Адреса и контакты
  • Условия использования материалов
  • Политика обработки персональных данных
  • Правила применения рекомендательных технологий в НИУ ВШЭ
  • Карта сайта
Редактору