Параллельная распределенная обработка данных и информационные пространства

Ученые записки физического факультета Московского университета. 2018. № 5. С. 1850304–1–1850304–11.

Голубцов П. В.

Данные в современных исследованиях нередко имеют огромный объем, распределены между многочисленными сайтами и постоянно пополняются. В таких случаях собрать все относящиеся к исследованию данные на одном компьютере, как правило, невозможно и непрактично, поскольку один компьютер не сможет обработать их в разумные сроки. Подходящий алгоритм анализа данных должен, параллельно работая на многих компьютерах, извлекать из каждого набора исходных данных некоторую промежуточную компактную «информацию», постепенно объединять ее и, наконец, использовать накопленную информацию для получения результата. По мере поступления новых данных он должен иметь возможность добавлять их к накопленной информации и, при необходимости, обновлять результат. В работе рассмотрены особенности такой хорошо организованной промежуточной формы информации и ее естественные алгебраические свойства. В качестве примера исследована проблема трансформации процедуры оптимального линейного оценивания так, чтобы отдельные фрагменты исходных данных могли обрабатываться независимо и параллельно. Предложена каноническая форма информации, позволяющая алгоритму извлекать такую информацию параллельно из каждого набора исходных данных, объединять ее и использовать для получения результата. Показано, что на построенном информационном пространстве кроме алгебраической структуры также индуцируется согласованное с ней упорядочение, отражающее понятие качества информации.

Ключевые слова: информационное пространство, большие данные, каноническая информация, распределенные системы сбора и обработки данных, алгебра информации