Central AsianResearch Index

CREATION OF AUTOMATIC DOCUMENT ANALYSIS MODEL USING DIFFERENT MACHINE LEARNING ALGORITHMS

В данной статье представлена модель для автоматиче-ского анализа документов. Она основана на методе TF-IDF (Term Frequency-Inverse Document Frequency), комбинированном с различными алгоритмами машинного обучения, включая SVM (Support Vector Machine), Random Forest и Word2Vec+SVM. Цель исследования – сравнить эффективность данных методов в задачах классификации текстов и выявить наиболее результативный подход. Экспериментальные результаты показали, что гибридная модель, использующая комбинацию TF-IDF и Word2Vec с SVM, достигла наивысшей точности (90,2 %) и F1-score (82,52 %). Метод TF-IDF позволяет оценивать значимость терминов в тексте, в то время как Word2Vec преобразует слова в векторное представление, улучшая семантическое соответствие. Алгоритм SVM эффективно разделяет данные на классы с помощью гиперплоскостей, а Random Forest улучшает каче-ство классификации за счёт использования ансамбля решающих деревьев. Кро-ме того, исследование подтвердило важность предварительной обработки тек-ста (токенизация, нормализация, удаление стоп-слов и лемматизация), которая значительно повышает качество классификации. Предложенная модель может быть применена в таких областях, как информационный поиск, тематическое моделирование и автоматическое реферирование документов. Такие гибридные подходы повышают точность и надёжность автоматического анализа текста, от-крывая перспективы для адаптации в многоязычной среде и добавления новых источников данных. Экспериментальные результаты доказали эффективность данного подхода для решения сложных задач, таких как анализ тональности, ка-тегоризация документов и тематическое моделирование. Данное исследование является важным шагом на пути к созданию новых решений в области автома-тического анализа текста.

Сведения

Опубликовано
2025 · Т. 6, № 1(21), С. 156-169
Язык
Английский
ISSN
2708-2032 · 2708-2040
Издатель
International Information Technology University
Аффилиации
С. Сейфуллин атындағы Қазақ агротехникалық зерттеу университеті, Астана, Қазақстан
С. Аманжолов атындағы Шығыс Қазақстан университеті, Өскемен, Қазақстан
С.Ж. Асфендияров атындағы Қазақ Ұлттық Медициналық Университеті, Алматы, Қазақстан
Астана халықаралық университеті, Астана, Қазақстан