Central AsianResearch Index

Обработка потоков больших данных: оптимизация задержек и анализ алгоритмов динамического управления ресурсами

В данной обзорной статье систематически рассмотрены современные архитектуры, алгоритмы и подходы, направленные на снижение задержек и динамическое управление ресурсами в системах обработки потоков больших данных в реальном времени. Проанализированы характеристики Lambda-, Kappa- и гибридных архитектур, облачно-нативных платформ, а также гибридных сред Edge–Fog–Cloud. Исследованы факторы задержки на уровне сети и вычислений, а также методы их снижения – включая размещение операторов, выгрузку задач (task offloading), технологию RDMA и модели прогнозирования на основе машинного обучения. Рассмотрены вопросы динамического управления ресурсами в облачной среде: реактивные, проактивные и гибридные алгоритмы автомасштабирования, подходы на основе анализа временных рядов, глубокого обучения и обучения с подкреплением, а также многокритериальное планирование задач. Результаты анализа показывают, что наивысшей эффективности можно достичь путём интеграции различных подходов – проактивного прогнозирования, гибридного автомасштабирования и принятия решений на основе ML. Выявлены нерешённые проблемы и перспективные направления будущих исследований.

Сведения

Опубликовано
2026 · Т. 9, № 1, С. 139-153
Язык
Русский
ISSN
2181-3086 · 2181-3094
Издатель
Samarkand branch of Tashkent University of Information Technologies