Central Asian Research Index

Bulletin of Toraighyrov University Physics & Mathematics series, 2025, № 2,2025, с. 80-95

Зиянды спам-хабарламаларын тиімді анықтауға арналған машиналық оқыту алгоритмдерін зерттеу және салыстырмалы талдау

М. Н. Күмісбек, А. Н. Шормакова

Аннотация · Abstract

Бұл мақалада логистикалық регрессия және TF-IDF (Term Frequency-Inverse Document Frequency) сияқты дәстүрлі машиналық оқыту әдістері мен BERT (Bidirectional Encoder Representations from Transformers) сияқты трансформер негізіндегі заманауи модельдердің тиімділігіне жан-жақты салыстырмалы талдау жүргізілді. Зерттеудің басты мақсаты – дәлдік (precision), сезімталдық (recall) және F1 көрсеткіші сияқты негізгі өнімділік метрикаларын бағалау және оларды трансформер модельдері негізінде одан әрі жақсартудың мүмкіндіктерін зерттеу. Сондай-ақ, қазақ тіліндегі деректерді өңдеген кезде трансформер модельдерін бейімдеу (fine-tuning) әдісінің маңыздылығына ерекше назар аударылады. Зерттеуде трансформерлік модельдердің аз ресурсты тілдер, соның ішінде қазақ тілі үшін бейімделу мүмкіндіктері мен тиімділігі егжей-тегжейлі талданды. Бұл талдауға деректер жиынын дайындау, токенизация ерекшеліктері және модельдерді бейімдеу процесінің шешуші рөлі секілді мәселелер кіреді. Әртүрлі деректер жиындарын пайдалана отырып, эксперименттік бағалау жүргізілді және әрбір әдістің түрлі шарттардағы тиімділігі анықталды. Жұмыста модель өнімділігіне әсер ететін нақты факторлар көрсетіліп, қазақ тілінің лингвистикалық ерекшеліктерін дәл анықтауда трансформер модельдерін бейімдеудің маңыздылығы аталып өтілді. Зерттеу нәтижелері көптілді спамды анықтау есептерінде трансформер модельдерін оңтайландыру бойынша құнды мәліметтер береді. Сонымен қатар, модельдердің сапалы жұмыс істеуіне әсер ететін маңызды техникалар мен конфигурациялар айқындалды. Жүргізілген кешенді зерттеу нәтижелері қазақ тілі секілді аз зерттелген тілдер үшін табиғи тілді өңдеу мүмкіндіктерін дамытуға ұмтылатын зерттеушілер мен мамандарға бағыт-бағдар бере алады. Кілтті сөздер: машиналық оқыту, гибридті әдіс, логистикалық регрессия, трансформер модельдері, TF-IDF, BERT, Бейімдеу (Fine-tuning), Спамды анықтау.

Сведения · Details