Central AsianResearch Index

ОБНАРУЖЕНИЕ ДУБЛИКАТОВ В КАЗАХСКИХ ТЕКСТАХ: СРАВНЕНИЕ TF-IDF, ЭМБЕДДИНГОВ СЛОВ И ЭМБЕДДИНГОВ ПРЕДЛОЖЕНИЙ: DETECTING DUPLICATES IN KAZAKH TEXTS: A COMPARISON OF TF-IDF, WORD AND SENTENCE EMBEDDINGS

В статье представлен всесторонний сравнительный анализ методов TF-IDF, словарных и многоязычных эмбеддингов предложений для автоматического обнаружения дубликатов в казахских текстах. Эксперимен-ты проведены на датасете KazakhTextDuplicates, включающем пары с метками «точный», «парафраз», «контекстуальный» и «частичный» дубликат. Все моде-ли оценивались в единой экспериментальной схеме с унифицированной пре-добработкой, L2-нормированными векторными представлениями и подбором порога по валидационной выборке. Модель Word2Vec с TF-IDF-взвешиванием показала наилучшие результаты (F1 = 0.996; ROC-AUC = 0.9999; PR-AUC = 0.9999). Метод TF-IDF (1–3-граммы) продемонстрировал высокую точность для точных и частичных совпадений (PR-AUC = 0.932; ROC-AUC = 0.775), тог-да как FastText обеспечил максимальную полноту (R ≈ 0.99) при умеренной точности. Среди многоязычных моделей лучшие показатели PR-AUC (≈0.614) получены для BGE-m3 и Snowflake Arctic. В задаче поиска дубликатов гибрид-ная схема BM25 с последующим плотным переранжированием обеспечила не-большой, но стабильный прирост по сравнению с плотным поиском (Recall@10: +0.04–0.12 п.п.; nDCG@10: +0.10–0.13 п.п.), что подтверждает эффективностьсочетания лексических и семантических признаков для морфологически слож-ных, низкоресурсных языков.

Сведения

Опубликовано
2025 · Т. 6, № 4(24), С. 1-19
Язык
Русский
ISSN
2708-2032 · 2708-2040
Издатель
International Information Technology University
Аффилиации
Astana IT University, Astana, Kazakhstan