GraphTyper: Вывод типов из графовой репрезентации кода посредством нейронных сетей

Труды Института системного программирования РАН. 2024. Т. 36. № 4. С. 69–80.

Арутюнов Г. А., Авдошин С. М.

Несмотря на то, что программирование – это творческий процесс, достаточно много времени уходит на решение рутинных задач. Как и в других индустриях в сфере информационных технологий стремятся автоматизировать рутинные задачи. Во многих случаях применяются нейронные сети. Программирование не является исключением: Github заверяют, что уже около 30% кода написано при помощи Copilot. Этот инструмент основан на модели Codex – трансформере, обученном на исходном коде программ. Однако представление кода в виде последовательности, как это сделано в Copilot, не так эффективно. В данной работе мы показали, что использование трансформеров и графового представления кода приводит к очень хорошим результатам даже для маленьких моделей.

Ключевые слова: neural networks, graphs, transformers, abstract syntax tree