Using RuGPT3-XL Model for RuNormAS competition

Ch. 18. P. 204–212.

Emelyanov A., Shliazhko O., Katricheva N., Шаврина Т. О.

Научный редактор перевода: Селегей В.

В статье представлена методология дообучения языковой модели RuGPT3-XL (Generative Pretrained Transformer-3 для русского языка) для задачи нормализации спанов текста. Решение представлено на конкурсе по двум задачам: Нормализация именованных сущностей (Named entity) и Нормализация более широкого класса фрагментов текста, включая нормализацию различных частей речи (Generic spans). Лучшее решение достигло точности 0.9645 для задачи нормализации фрагментов текста и 0.9575 для именованных сущностей. Представляемые решения находятся в открытом доступе по адресу https://github.com/ RussianNLP/RuNormAS-solution

Ключевые слова: генерация текста, normalization, generative modeling, генеративные модели, generative language models

В книге

Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference “Dialogue” (2021)

Issue 20: Основной том. , -, 2021.