МОДЕЛЬ НА ОСНОВЕ ЗНАНИЙ ПРЕДМЕТНОЙ ОБЛАСТИ ДЛЯ РАЗРЕШЕНИЯ КОРЕФЕРЕНЦИИ В МАЛОРЕСУРСНЫХ ЯЗЫКАХ
Встатье предлагается гибридная модель разрешения кореференции для малоресурсных и морфологически сложных языков на примере казахского языка. Современные нейронные и трансформерные модели демонстрируют высокую эффективность в условиях наличия больших аннотированных корпусов и предварительно обученных языковых моделей. Однако для малоресурсных языков такие данные ограничены или отсутствуют, что существенно снижает качество автоматического анализа текста.Для решения данной проблемы разработана модель Kazakh Coreference Adaptation (KCA), со-четающая статистические методы машинного обучения с явным использова-нием предметных знаний. В архитектуру системы входят этапы предваритель-ной обработки текста (токенизация, морфологический анализ, POS-теггинг, распознавание именованных сущностей и синтаксический разбор зависимо-стей), обнаружение упоминаний, формирование кандидатных пар и извлечение
Сведения
- Опубликовано
- 2026 · Т. 7, № 1(25), С. 199-215
- Язык
- Русский
- ISSN
- 2708-2032 · 2708-2040
- Издатель
- International Information Technology University
- Аффилиации
- Экономический университет, Братислава, Словакия
Кокшетауский университет имени ШоканаУалиханова, Кокшетау, Казахстан
Кокшетауский университет имени Абая Мырзахметова, Кокшетау, Казахстан
Атырауский университет имени Х. Досмухамедова, Атырау, Казахстан