?
RU-EVAL-2012: Evaluating dependency parsers for Russian
RU-EVAL – это форум по оценке русскоязычных ресурсов, методов и инструментов автоматической обработки текста. Первый этап форума состоялся в 2010 году и был посвящен оценке морфологических парсеров (Lyashevskaya et al. 2010), второй цикл (2011-2012) связан с оценкой синтаксического анализа текста (Toldova et al. 2012). На синтаксическом форуме результаты разметки тестового корпуса в формате синтаксиса зависимостей прислали 8 участников из коммерческих компаний и академических учреждений. В статье описываются принципы «мягкой» оценки, позволившие сравнивать ответы, которые весьма значительно различались как теоретическими подходами и методами парсинга, так и по конкретному составу тегов и направлению зависимостей. Обсуждаются результаты, сложные для оценки случаи, а также некоторые проблемные точки в работе русских синтаксических парсеров, которые выявила экспертиза результатов.