Международный Журнал Теоретических и Прикладных Вопросов Цифровых Технологий, 2026, т. 9, № 3, с. 155-165
Сравнительный анализ методов TF-IDF и word embedding для классификации текстов на узбекском языке
Аннотация · Abstract
В данной работе проведен сравнительный анализ методов векторизации и алгоритмов классификации при классификации текстовых данных на узбекском языке. В исследовании автором разработан новый набор данных под названием «Узтекст-600», состоящий из 600 текстов, собранных из различных источников на узбекском языке. Набор данных разделен на 6 тематических классов: автомобили, международные события, культура и искусство, спорт, история и наследие, политика и экономика. К этому набору данных были применены пять методов векторизации (TF-IDF, Word2Vec, FastText, Doc2Vec, BERT) и 10 классификаторов (традиционные: метод опорных векторов (SVM), логистическая регрессия, наивный байесовский классификатор; ансамблевые: случайный лес, XGBoost, LightGBM; глубокое обучение: долговременная кратковременная память (LSTM), двунаправленная LSTM (BiLSTM), трансформер). Экспериментальные результаты показали, что комбинация BERT + XGBoost достигла наивысшего результата с точностью 0,942, в то время как TF-IDF + SVM показала наилучшие результаты среди традиционных методов с точностью 0,865. Статистический анализ (парный t-тест, ANOVA) доказал, что методы, основанные на двунаправленных кодировщиках на основе трансформеров (BERT), значительно превосходят другие методы. Данная работа представляет собой первоначальный эталонный набор данных, специально созданный для узбекского языка, и служит основой для будущих исследований. Все результаты были подробно проанализированы с помощью графиков и таблиц.
Сведения · Details
- DOI 10.62132/ijdt.v9i3.413
- Журнал · Journal Международный Журнал Теоретических и Прикладных Вопросов Цифровых Технологий
- Язык · Language русский
- Цитирования (Crossref) · Citations 0
- Лицензия · License creativecommons.org/licenses/by/4.0