Об энтропийных критериях отбора признаков в задачах анализа данных

Информационные технологии и вычислительные системы. 2018. № 2. С. 60–69.

Дубнов Ю. А.

В работе рассматривается задача понижения размерности пространства признаков для описания
объектов в задачах анализа данных на примере бинарной классификации. В статье приводится обзор существующих подходов к решению данной задачи и предлагается несколько модификаций, в которых понижение размерности рассматривается как задача извлечения наиболее релевантной информации из признакового описания объектов и решается в терминах Шеноновской энтропии. Для выявления наиболее значимых признаков используются такие информационные критерии, как условная энтропия (conditional entropy), взаимная информация (mutual information) и расстояние Кульбака-Ляйблера (Kullback-Leibler divergence).

Ключевые слова: entropy, энтропия, классификация, classification, dimensionality reduction, feature selection, понижение размерности, отбор признаков