?
RUREBUS-2020 Shared Task: Russian Relation Extraction for Business
В статье представлены результаты соревнования по распознаванию именованных сущностей и извлечению отношений. Целью соревнова- ния является сравнение методов извлечения сущностей и отношений на русском языке в постановке, приближенной к индустриальным за- дачам. В качестве исходной коллекции текстов использовался корпус Минэкономразвития РФ, содержащий программы стратегического развития. Корпус был размечен в соответствии с инструкцией, раз- работанной авторами статьи. В процессе разметки использовались различные методы активного обучения, что позволило за короткое время создать качественный набор данных. Всего было размечено бо- лее двухсот документов. Соревнование проводилось по трем задачам (дорожкам): 1) распознавание именованных сущностей, 2) извлечение отношений и 3) совместное распознавание именованных сущностей и извлечение отношений. Вместе с коллекцией размеченных текстов участникам также были предоставлены неразмеченные тексты, ко- торые могли быть использованы для улучшения решений. В статье дается обзор и сравниваются результаты участников соревнования. Детальное описание соревнования, текстовые коллекции, инструк- ция по разметке и скрипты для оценки качества доступны по ссылке:https://github.com/dialogue-evaluation/RuREBus.