Central Asian Research Index

Bulletin of Toraighyrov University Physics & Mathematics series, 2025, № 3, 2025, с. 17-33

Автоматизация классификации сообщений дежурной части полиции по категориям правонарушений

Д. В. Мухарский, Ж. Ж. Карымсаков, И. Н. Жак

Аннотация · Abstract

В статье рассматривается задача классификации сообщений, поступающих на пульт дежурного полицейского участка. Сообщения принимаются по телефону и переносятся в текстовую форму. Дежурный должен присвоить сообщению определённую категорию правонарушения. Каждое сообщение должно быть отнесено к одной из 50 категорий. При этом на каждом этапе возникают ошибки. В предоставленных для обучения текстовых материалах есть много видов сокращений и слов с ошибками. В статье рассмотрены методы предварительной очистки текстов и исправления части ошибок. Обучающий набор оказался сильно разбалансирован. Для уменьшения влияния разбалансировки авторами используется метод поправочных коэффициентов. Обучающий набор содержит 114067 уникальных сообщений. Набор разделён на три выборки обучающую, валидационную и тестовую в соотношении 7:2:1. В качестве классификаторов рассмотрены две модели. Одна модель Multi-Layer Perceptron (MLP) – классический многослойный персептрон. Вторая модель Long short-term memory (LSTM) – рекуррентная нейронная сеть с ячейками краткосрочной памяти [1]. Для каждой модели рассмотрены две метрики – точность и потери. Обе модели показали сходные значения метрики точности. Окончательные выводы о применимости моделей сделаны на основе анализа матриц ошибок и скорости обучения. Ключевые слова: многослойный персептрон, ячейки краткосрочной памяти, многокритериальная классификация, текстовые сообщения, обработка естественного языка, нейронная сеть, модель классификатора, матрица ошибок.

Сведения · Details