Глава
Comparative analysis of classification methods for text in UDC code generation problem for scientific articles
В книге
Статья посвящена обзору современных тематик и актуальных направлений компьютерной лингвистики на основе анализа материалов одной из конференции в этой области, а именно, 24-ой Международная конференция по компьютерной лингвистике Coling2012. В ней приводится анализ основных подходов и проблемных точек в таких традиционных областях автоматической обработки текста, как автоматический морфологический и синтаксический анализ, машинный перевод и др. Также подробно рассматриваются современные задачи автоматического извлечения информации из текста такие, как извлечение фактов, извлечения мнений, анализ контента на основе привлечения онтологических ресурсов Веба. Делается вывод о том, что для современного уровня развития компьютерной лингвистики характерно вовлечение все более сложных уровней лингвистического анализа в сферу автоматического анализа, применение гибридных подходов в решении задач компьютерной обработки текстов, совмещающих машинное обучение и алгоритмические методы. При этом уровни сложности современных задач обработки текстов, таких как извлечение временной референции в тексте, анализ структуры дискурса и многие другие, требуют активного привлечения экспертных лингвистических знаний.
В статье дается краткое введение в ансамбли классификаторов в машинном обучении и описывается алгоритм, повышающий качество классификации за счет рекомендации классификаторов объектам. Гипотеза, заложенная в основу алгоритма, состоит в том, что классификатор скорее правильно классифицирует объект, если он правильно предсказал метки соседей этого объекта из обучающей выборки. Автор иллюстрирует принцип алгоритма на простом примере и описывает тестирование на реальных данных.
В сборнике представлены тезисы докладов 12-й Международной конференции "Интеллектуализация обработки информации", проводимой Российской академией наук, Федеральным исследовательским центром "Информатика и управление" РАН, Научно-координационный центром "Цифровые методы интеллектуального анализа данных". Конференция проводится с 1989 г., начиная с 2000 г. - регулярно один раз в два года, и является представительным научным форумом в области интеллектуального анализа данных, машинного обучения, распознавания образов, анализа изображений, обработки сигналов, дискретного анализа. Организационный комитет ИОИ-2018 выражает особую благодарность компаниям Форексис и ЦСПиР, оказавшим неоценимую помощь при подготовке и проведении конференции. Конференция поддержана грантом РФФИ 18-07-20075. Сайт конференции http://mmro.ru.
Определение тональности документов (субъективной оценки автора текста) возникает в различных предметных областях, таких как социологические и маркетинговые исследования, разработка рекомендательных систем и т.д. В данной работе рассматривается задача извлечения оценочных слов. Наличие лексикона оценочных слов может упростить задачу извлечения мнений из текстовых данных, и потому выделение оценочных слов из текстов является одним из ключевых направлений исследований в области анализа мнений (Sentiment Analysis). В работе рассматриваются методы извлечения слов, основанные на использовании корпуса текстов, которые позволяют создавать различные списки слов для различных предметных областей. Полученные при помощи сравниваемых методов списки оценочных слов использовались в качестве признаков описания данных, подаваемых на вход различным алгоритмам машинного обучения, определяющим тональность текстов. Эксперименты показали, что использование оценочных слов в некоторых случаях позволяет снизить ошибку классификации на 20%, но что сами по себе оценочные слова не являются достаточными для решения этой задачи и должны быть использованы только в комбинации с другими признаками.