Transformers and State-Space Models: Fine-Tuning Techniques for Solving Differential Equations

V. Ignatenko; A. Surkov; Zakharov V.; Koltcov S.

doi:10.3390/sci7030130

Публикации

?

Transformers and State-Space Models: Fine-Tuning Techniques for Solving Differential Equations

Sci. 2025. Vol. 7. No. 3. Article 130.

Игнатенко В. В., Сурков А. Ю., Zakharov V., Koltcov S.

Научное направление: Компьютерные науки

Язык: английский

Полный текст

DOI

Текст на другом сайте

Ключевые слова: дифференциальные уравнения Differential Equations T5 Большие языковые модели (LLMs)Large Language Models (LLM)BLEU Phi-4 DeepSeek

Exploring New Frontiers in Vertical Federated Learning: the Role of Saddle Point Reformulation

Beznosikov A., Kormakov G., Grigorievskiy A. и др., Journal of Optimization Theory and Applications 2026 Vol. 209 Article 18

Добавлено: 17 июня 2026 г.

Supervised Learning in Critical Phenomena—Statistical and Systematic Accuracy

Chertenkov V. I., Щур Л. Н., Lobachevskii Journal of Mathematics 2026 Vol. 47 No. 2 P. 720–727

Добавлено: 16 июня 2026 г.

Enhancing Emotion Recognition in Speech Based on Self-Supervised Learning: Cross-Attention Fusion of Acoustic and Semantic Features

Deeb B., Andrey V. Savchenko, Макаров И. А., IEEE Access 2026 Vol. 13 P. 56283–56295

Добавлено: 16 июня 2026 г.

Automated detection of wolf howls using audio spectrogram transformers

Makarov N., Савченко А. В., Zemtsova I. и др., Scientific Reports 2025 Vol. 15 Article 26641

Добавлено: 16 июня 2026 г.

Artificial intelligence framework for multi-pathology risk assessment from retinal fundus images: deep learning approach to 15-disease screening

Vasilev R., Савченко А. В., Blinov P. и др., Frontiers in Medicine 2026 Vol. 13

Добавлено: 16 июня 2026 г.

From Data to Signs: A Foundation Model for Multilingual Sign Language Recognition

Novopoltsev M., Tulenkov A., Murtazin R. и др., IEEE Access 2025 Vol. 13 P. 188170–188181

Добавлено: 16 июня 2026 г.

B3Emo: Quantifying Affect as a Double-Edged Sword in Strategic LLM Interactions

Stepin A., Mozikov M., Kabanov A. и др., IEEE Access 2026 Vol. 14 P. 48127–48144

Добавлено: 16 июня 2026 г.

ESQA: Event Sequences Question Answering

Abdullaeva I., Karpukhin I., Filatov A. и др., IEEE Access 2026 Vol. 14 P. 59390–59408

Добавлено: 16 июня 2026 г.

RuCLEVR: A Russian Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning

Biryukova K., Chelnokova D., Erkenova J. и др., , in: Analysis of Images, Social Networks and Texts. AIST 2024Issue 2364.: Springer Nature Switzerland, Cham, 2024. P. 109–121.

Добавлено: 14 июня 2026 г.

Proceedings of the 19th Conference of the European Chapter of the Association for Computational Linguistics (Volume 1: Long Papers)

Association for Computational Linguistics, 2026.

Добавлено: 14 июня 2026 г.

From Standard Transformers to Modern LLMs: Bringing Dialogue Models, RAG, and Agents to the Classroom.

Тихонова М. И., Chekalina V., Chervyakov A. и др., , in: Proceedings of the Seventh Workshop on Teaching Natural Language Processing (TeachNLP 2026).: Association for Computational Linguistics, 2026. P. 41–44.

Добавлено: 13 июня 2026 г.

Long Context Benchmark for the Russian Language

Churin I., Apishev M., Тихонова М. И. и др., , in: Proceedings of the 6th Workshop on Computational Approaches to Discourse, Context and Document-Level Inferences (CODI 2025).: Suzhou: Association for Computational Linguistics, 2025. P. 1–13.

Добавлено: 11 июня 2026 г.

Proceedings of the 6th Workshop on Computational Approaches to Discourse, Context and Document-Level Inferences (CODI 2025)

Strube M., Braud C., Hardmeier C. и др., Suzhou: Association for Computational Linguistics, 2025.

Добавлено: 11 июня 2026 г.

TreeDQN: Sample-efficient off-policy reinforcement learning for combinatorial optimization

Sorokin D., Kostin A., Савченко Л. В. и др., Knowledge-Based Systems 2026 Vol. 348 Article 116258

Добавлено: 10 июня 2026 г.

Microbial diversity and production of milk spirit using traditional Buryat fermentation and distillation technologies

Namsaraev Z., Nanzatov B., Козлова А. Д. и др., Scientific Reports 2026 Vol. 16 No. 1 Article 17769

Дистиллированные кисломолочные напитки встречаются в пищевой промышленности редко, несмотря на повсеместное распространение растительных спиртных напитков. В настоящее время производство крепких дистиллированных алкогольных напитков из кисломолочных продуктов с использованием традиционных технологий известно лишь среди монголоязычных народов и их сибирских соседей. Данное исследование представляет собой первый междисциплинарный анализ дарасуна, традиционного бурятского спиртного напитка, изготавливаемого из кисломолочного напитка ...

Добавлено: 10 июня 2026 г.

Artificial intelligence and digital twins for failure prediction in data center cooling systems: a comprehensive literature review (2018–2026)

Butorova A., Bobakov V., Sergeev A. и др., European Physical Journal: Special Topics 2026 P. 1–19

Добавлено: 10 июня 2026 г.

Innovations in Information and Decision Sciences. Proceedings of the 13th International Conference on Frontiers in Intelligent Computing: Theory and Applications (FICTA 2025), Volume 4

Springer, 2026.

Добавлено: 8 июня 2026 г.

Comparative Study of Training Methods and Architectures of Echo State Networks

Андросов И. А., Proceedings of the Institute for System Programming of the RAS 2026 Vol. 38 No. 3 P. 87–114

В работе рассматриваются сети эхо-состояний (Echo State Network, ESN), которые являются одними из самых распространенных способов реализации резервуарных вычислений. Они состоят из рекуррентной нейронной сети, веса которой выбираются один раз и не обучаются, и выходного, обычно линейного, обучаемого слоя. Такой подход позволяет создавать энергоэффективные и быстрые нейронные сети, способные обучаться в режиме реального времени. Но ...

Добавлено: 26 мая 2026 г.

Об изоморфизме задачи Козлова о движении ферромагнетика в магнитном поле и задачи Шоттки о движении четырехмерного твердого тела

Цыганов А. В., Порубов Е. О., Теоретическая и математическая физика 2026 Т. 227 № 2 С. 336–355

Теория тензорных инвариантов обыкновенных дифференциальных уравнений и классификация Картана простых алгебр Ли используется для установления изоморфизма задачи Козлова о движении ферромагнетика в магнитном поле и задачи Шоттки о движении четырехмерного твердого тела. Найдены новые полиномиальные и рациональные бивекторы Пуассона, инвариантные либо относительно пары коммутирующих фазовых потоков, либо относительно одного из пары потоков. ...

Добавлено: 5 мая 2026 г.

Natural hazard database from Internet publications: text mining with a large language model

Деркачева А. А., Сакиркина М. А., Краев Г. Н. и др., /. 2026.

Добавлено: 28 апреля 2026 г.

XXII национальная конференция по искусственному интеллекту с международным участием (КИИ-2025)

СПб.: Санкт-Петербургский Федеральный исследовательский центр РАН, 2025.

Двадцать вторая Национальная конференция по искусственному интеллекту с международным участием КИИ-2025 продолжает традицию советских (российских) конференций, организуемых Российской ассоциацией искусственного интеллекта. В первом томе трудов публикуются пленарные доклады и доклады участников конференции, представленные на следующих секциях: Секция 1 «Инженерия знаний», Секция 2 «Интеллектуальный анализ данных», Секция 3 «Моделирование рассуждений», Секция 4 «Интеллектуальный анализ текстов, большие ...

Добавлено: 15 февраля 2026 г.

Generating and Debugging Java Code using LLMs based on Associative Recurrent Memory

Василевский В. И., Александров Д. В., Proceedings of the Institute for System Programming of the RAS 2025 Vol. 37 No. 5 P. 173–182

Автоматическая генерация кода большими языковыми моделями (LLM) достигла значительных успехов, однако все еще сталкивается с проблемами при работе со сложными и объемными кодовыми базами, особенно на таких языках, как Java. Ограничения контекстного окна LLM и сложность отладки сгенерированного кода являются ключевыми препятствиями. В данной статье представлен подход, направленный на улучшение генерации и отладки Java-кода. Мы ...

Добавлено: 26 декабря 2025 г.

Novel Activation Sparsification Approach for Large Language Models

A.V. Demidovskij, Burmistrova E. O., E.I. Zharikov, Optical Memory and Neural Networks (Information Optics) 2025 Vol. 34 P. S166–S174

Добавлено: 22 декабря 2025 г.

Performance Study of Modern Zeroth-Order Optimization Methods for LLM Fine-Tuning

A. V. Demidovskij, A. I. Trutnev, Optical Memory and Neural Networks (Information Optics) 2025 Vol. 34 No. Suppl. 1 P. S16–S29

Добавлено: 22 декабря 2025 г.