Ускорение объединения распределенных наборов данных по заданному критерию

?

Ускорение объединения распределенных наборов данных по заданному критерию

Тырышкина Е. С.

В данной работе рассматривается проблема снижения затрат машинного времени за счет разработки и реализации метода ускорения операции соединения распределенных массивов данных по заданному критерию. Были решены следующие задачи: проведено исследование архитектуры распределенных хранилищ данных и алгоритмов параллельных вычислений; на основании этих исследований установлены лимитирующие стадии, замедляющие процесс переработки; разработан метод, исключающий установленные лимитирующие стадии; на основе разработанного метода созданы алгоритм и утилита, расширяющие функциональные возможности выбранного программного продукта; проведены экспериментальные исследования

Язык: русский

В книге

Международной научно-практической конференции «BIG DATA and Advanced Analytics»

Мн.: [б.и.], 2022.

Метод ускорения объединения распределенных наборов данных по заданному критерию

Тырышкина Е. С., Тумковский С. Р., Информационно-управляющие системы 2022 № 5(120) С. 2–11

Добавлено: 31 мая 2022 г.

Accelerating join of distributed datasets by a given criterion

Тырышкина Е. С., , in: Proceedings of 2022 IEEE Moscow Workshop on Electronic and Networking Technologies (MWENT).: M.: IEEE, 2022.

Добавлено: 31 мая 2022 г.

Метод ускорения объединения распределенных наборов данных по заданному критерию

Тырышкина Е. С., В кн.: Межвузовская научно-техническая конференция студентов, аспирантов и молодых специалистов имени Е.В. Арменского. Материалы конференции.: М.: МИЭМ НИУ ВШЭ, 2022.

Добавлено: 31 мая 2022 г.

Распределенные горизонтально масштабируемые решения для управления данными

С.Д. Кузнецов, Посконин А. В., Труды Института системного программирования РАН 2013 Т. 24 С. 327–258

В современном мире всё острее встает проблема работы с огромными объемами данных и большими нагрузками. Крупные Web-приложения, социальные сети, различные научные исследования, бизнес-аналитика, а также множество других областей, так или иначе, сталкиваются с проблемами управления и анализа данных большого объема («big data»). Кроме анализа уже накопленного объема данных, возникают задачи манипулирования данными под большой нагрузкой, ...

Добавлено: 30 января 2018 г.

Большие данные: современные подходы к хранению и обработке

Клеменков П. А., Кузнецов С. Д., Труды Института системного программирования РАН 2012 Т. 23 С. 143–158

Большие данные поставили перед традиционными системами хранения и обработки новые сложные задачи. В данной статье анализируются возможные способы их решения, ограничения, которые не позволяют сделать это эффективно, а также приводится обзор трех современных подходов к работе с большими данными: NoSQL, MapReduce и обработка потоков событий в реальном времени. ...

Добавлено: 31 октября 2017 г.

Applying MapReduce to Conformance Checking

Шугуров И. С., Мицюк А. А., Proceedings of the Institute for System Programming of the RAS 2016 Vol. 28 No. 3 P. 103–122

Process mining – это относительно новая область исследований, в рамках которой разрабатываются методы исследования и улучшения бизнес-процессов. Спецификой методов process mining является то, что они основываются на анализе истории выполнения процессов, которая представляется в виде логов событий. Проверка соответствия моделей процессов и логов событий является одним из ключевых направлений в области process mining. Алгоритмы проверки соответствия используются ...

Добавлено: 12 сентября 2016 г.

Новые методы работы с БОЛЬШИМИ ДАННЫМИ: победные стратегии управления в бизнес аналитике

Шмид А. В., Позин Б. А., Агейкин М. А. и др., М.: Пальмир, 2016.

Книга знакомит с новейшими технологиями обработки больших данных (Big Data) на примере платформы BIG DATA IBM (базовые технологии экспертной системы Watson IBM). ...

Добавлено: 27 мая 2016 г.

Putting OAC-triclustering on MapReduce

Зудин С., Гнатышак Д. В., Игнатов Д. И., , in: Proceedings of the Twelfth International Conference on Concept Lattices and Their Applications Clermont-Ferrand, France, October 13-16, 2015Vol. 1466.: Clermont-Ferrand: CEUR Workshop Proceedings, 2015. P. 47–58.

Добавлено: 23 октября 2015 г.

Реализация модели параллельных вычислений GoMapReduce на операционной системе Plan9

Леохин Ю.Л., Мягков А.С., Информатизация образования и науки 2014 Т. 24 № 4 С. 111–118

В статье рассмотрена реализация модели параллельного программирования MapReduce, активно применяемая в распределенных вычислениях. Представлены результаты исследования масштабируемости данной реализации, запущенной на операционной системе Plan9, и указаны ее направления развития ...

Добавлено: 23 октября 2014 г.