• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Статья

Faster variational inducing input Gaussian process classification

Journal of machine learning and data analysis. 2017. Vol. 3. No. 1. P. 20-35.
Izmailov P., Kropotov D.

Предлагается новый подход к настройке моделей гауссовских процессов для задач классификации. Стандартные методы для данной задачи имеют сложность O(n 3 ), где n — размер обучающей выборки. Данное обстоятельство не позволяет применять эти методы к задачам с большим объемом данных. В связи с этим в литературе был предложен ряд подходов, основанных на использовании так называемых вспомогательных точек (inducing inputs). Изначально такие методы использовались для задачи регрессии, но в недавней работе Хенсмэна с коллегами (2015 г.) подобный метод был разработан для задач классификации. В этом методе используется глобальная нижняя оценка на правдоподобие, которая максимизируется по параметрам гауссовского процесса и по дополнительным вариационным параметрам с помощью стохастической оптимизации. Вычислительная сложность данного метода составляет O(nm2 ), где m — число вспомогательных точек, которое обычно существенно меньше, чем n. Однако число переменных в оптимизации составляет O(m2 ), что делает задачу поиска оптимальных параметров весьма сложной при больших значениях m. Предлагаются две новые оценки на маргинальное правдоподобие в модели гауссовских процессов со вспомогательными точками для задач классификации, а также несколько методов для их оптимизации. В новых оценках количество численно оптимизируемых переменных не зависит от числа вспомогательных точек m. В результате новые процедуры обучения становятся эффективными для широкого диапазона параметров n и m. Кроме того, в отличие от стохастического метода из статьи Хенсмэна с коллегами (2015 г.), новые процедуры не требуют настройки параметров пользователем. Это значительно облегчает использование новых методов на практике. Проведенные эксперименты показывают, что новые методы демонстрируют сравнимое или лучшее качество по сравнению с методом из работы Хенсмэна с коллегами (2015 г.).