Central AsianResearch Index

Принципы организации параллельных алгоритмов в облачных вычислительных средах

Рост объёма больших данных в современных информационных технологиях обусловливает необходимость разработки эффективных параллельных алгоритмов для облачных вычислительных сред. Существующие системы, такие как Hadoop и Spark, сталкиваются с рядом проблем, связанных, соответственно, со статическим распределением задач и высоким потреблением памяти. В данном исследовании предлагается гибридный подход к параллельным вычислениям, объединяющий графы задач на основе DAG (ориентированный ациклический граф), парадигмы MapReduce и Fork-Join. Разработанная программная платформа CloudParallelCore v1.0 имеет пятиуровневую архитектуру, обеспечивающую независимость от конкретного поставщика облачных услуг. Алгоритм гибридного планировщика динамически распределяет задачи с использованием функции приоритета f(p, w) = α·priority + β·wait_time. Экспериментальные результаты показали, что 69 из 70 тестов (98,6 %) были успешно пройдены, а тестовое покрытие превысило 90 %. В режиме MapReduce для набора данных из 10 000 элементов при использовании 4 рабочих процессов достигнуто ускорение 1,09×. В режиме Fork-Join сортировка 50 000 элементов была выполнена за 1,20 секунды. Единственная выявленная проблема, связанная с границей измерения времени фазы Reduce для небольших наборов данных, не оказала влияния на функциональность системы. Полученные результаты подтверждают эффективность предложенного гибридного подхода для обработки данных среднего и большого масштаба.

Сведения

Опубликовано
2026 · Т. 9, № 3, С. 99-111
Язык
Русский
ISSN
2181-3086 · 2181-3094
Издатель
Samarkand branch of Tashkent University of Information Technologies