Central AsianResearch Index

Архитектура для непрерывного извлечения знаний из социальных сетей

Социальные сети уже давно играют неотъемлемую роль в повседневной жизни людей. Вся наша жизнь в реальном мире фиксируется и в цифровом пространстве. Cоциальные медиа и взаимодействующие с ними сети стали местом огромных возможностей для анализа данных. Их влияние на повседневную жизнь охватывает такие разные области, как цифровой маркетинг, анализ общественного мнения, мониторинг политической ситуации и уведомления о стихийных бедствиях. Любая задача обработки такого большого потока данных нуждается в целостной архитектуре, которая будет соответствовать анализируемому ресурсу. В представленной работе мы поставили перед собой задачу создать высоконагруженную, отказоустойчивую, масштабируемую систему для извлечения и обработки данных из различных социальных сетей и анализа данных в реальном времени. Решением выступает архитектура в виде комплекса модулей. Модули имеют свои особенности в зависимости от выполняемой работы, от сбора текстовых данных до непосредственной обработки и извлечения знаний.

Сведения

Опубликовано
2022 · Т. 140, № 3, С. 23-32
Язык
Русский
ISSN
2616-7182 · 2663-1326 · 3007-0155 · 3007-0163
Издатель
L. N. Gumilyov Eurasian National University