Central AsianResearch Index

НА ПУТИ К ЭФФЕКТИВНОЙ АНАЛИТИКЕ БОЛЬШИХ ДАННЫХ В РЕГИОНАЛЬНЫХ СИСТЕМАХ: ПРАКТИЧЕСКИЕ ВЫВОДЫ ИЗ ВНЕДРЕНИЯ ГИБРИДНОЙ АРХИТЕКТУРЫ: TOWARDS EFFICIENT BIG DATA ANALYTICS IN REGIONAL SYSTEMS: PRACTICAL INSIGHTS FROM HYBRID ARCHITECTURE DEPLOYMENT

Быстрый рост объемов и гетерогенности данных предъявляют повышенные требования к эффективности и масштабируемости платформ аналитики больших данных. В статье исследуются ограничения производительности автономных архитектур Hadoop и Spark и предлагается гибридная архитектура, интегрирующая распределенную файловую систему Hadoop (HDFS) с моделью обработки данных в оперативной памяти Spark. Ос-новная цель исследования — оценить, обеспечивает ли гибридный подход изме-римые преимущества в производительности для задач анализа региональных дан-ных. Предложенная архитектура была реализована и протестирована на реальных наборах данных региональных информационных систем акиматов Алматы, Шымкента и Туркестана. Оценка проводилась с использованием стандартных бенчмарков TPC-H и HiBench, охватывающих пакетную обработку данных, потоковую аналитику и задачи машинного обучения. Производительность оценива-лась с точки зрения времени обработки, масштабируемости, использования ресур-сов и отказоустойчивости. Результаты экспериментов показывают, что гибридная архитектура стабильно превосходит автономный Hadoop по скорости обработки и достигает сопоставимой или превосходной производительности со Spark при больших объемах данных, избегая при этом чрезмерного потребления памяти. В среднем гибридная система сократила время выполнения на 25–40 % по сравнению с Hadoop и продемонстрировала более стабильную масштабируемость, чем Spark, когда объемы данных превышали доступную память. Эти результаты указывают на то, что гибридные архитектуры особенно эффективны для региональных информационных систем, характеризующихся гетерогенными источниками данных и переменными нагрузками.

Сведения

Опубликовано
2026 · Т. 7, № 1(25), С. 146-164
Язык
Русский
ISSN
2708-2032 · 2708-2040
Издатель
International Information Technology University
Аффилиации
Казахскийнациональный исследовательский технический университет им. К.И. Сатпаева, Алматы, Казахстан
Международный университет информационных технологий
AstanaITUniversity, Астана, Казахстан