?
ПРИМЕНЕНИЕ ГЛУБОКИХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ КЛАССИФИКАЦИИ БОЛЬШИХ ОБЪЕМОВ АСТРОНОМИЧЕСКИХ ДАННЫХ
В процессе астрономических наблюдений собираются огромные объемы данных. БСА (Большая Сканирующая Антенна) ФИАН, используемая при исследовании импульсных явлений, ежедневно регистрирует 87.5 Гбайт данных (32 Тб в год). Целью данной работы является разработка веб-сервиса, для помощи экспертам в классификации новых астрономических наблюдений. Azure Machine Learning Studio, поддерживающая алгоритм глубокой нейронной сети, используется в качестве инструмента для разработки веб-сервиса.
Экспертами классифицированы 83096 индивидуальных наблюдений (на отрезке исследования июль 2012 - октябрь 2013). Свыше 89% выборки соответствуют пульсарам, мерцающим источникам и быстрым радиотранзиентам, а остальные классы наблюдений относятся к аппаратурным сбоям, помехам, пролету спутника Земли, самолета. Всего выделено 15 классов наблюдений.
Наличие подобной выборки, разделенной на классы позволяет воспользоваться алгоритмами машинного обучения, с помощью которых станет возможным разработка автоматизированного сервиса для краткосрочного/долгосрочного мониторинга различных классов радиоисточников (в том числе радиотранзиентов различной природы), мониторинга ионосферы Земли, межпланетной и межзвездной плазмы, поиска и мониторинга различных классов радиоисточников. Под мониторингом в данном случае понимается автоматическая фильтрация и распознавание ранее неклассифицированных импульсных явлений. На текущий момент для автоматической фильтрации используются методы статистического анализа. В данной работе рассматривается альтернативный метод с использованием алгоритма машинного обучения – нейронной сети, которая обрабатывает поданные на вход первичные данные, и после обработки скрытым слоем, посредством выходного слоя определяет класс импульсного явления.
Создание модели нейронной сети, обученной на выборке и выполняющей классификацию ранее неклассифицированных импульсных явлений производится с помощью облачного сервиса Microsoft Azure Machine Learning Studio. Web-сервис, созданный на основании модели позволяет классифицировать как одиночные импульсные явления в режиме реального времени (Запрос-Ответ), так и выборку данных за определенный период (Пакетная обработка).