Обработка потоков больших данных: оптимизация задержек и анализ алгоритмов динамического управления ресурсами
В данной обзорной статье систематически рассмотрены современные архитектуры, алгоритмы и подходы, направленные на снижение задержек и динамическое управление ресурсами в системах обработки потоков больших данных в реальном времени. Проанализированы характеристики Lambda-, Kappa- и гибридных архитектур, облачно-нативных платформ, а также гибридных сред Edge–Fog–Cloud. Исследованы факторы задержки на уровне сети и вычислений, а также методы их снижения – включая размещение операторов, выгрузку задач (task offloading), технологию RDMA и модели прогнозирования на основе машинного обучения. Рассмотрены вопросы динамического управления ресурсами в облачной среде: реактивные, проактивные и гибридные алгоритмы автомасштабирования, подходы на основе анализа временных рядов, глубокого обучения и обучения с подкреплением, а также многокритериальное планирование задач. Результаты анализа показывают, что наивысшей эффективности можно достичь путём интеграции различных подходов – проактивного прогнозирования, гибридного автомасштабирования и принятия решений на основе ML. Выявлены нерешённые проблемы и перспективные направления будущих исследований.
Сведения
- Опубликовано
- 2026 · Т. 9, № 1, С. 139-153
- Язык
- Русский
- ISSN
- 2181-3086 · 2181-3094
- Издатель
- Samarkand branch of Tashkent University of Information Technologies