АВТОМАТИЧЕСКАЯ И ПОЛУАВТОМАТИЧЕСКАЯ АННОТАЦИЯ КА-ЗАХСКИХ ТЕКСТОВЫХ КОРПУСОВ: AUTOMATIC AND SEMI-AUTOMATIC ANNOTATION OF KAZAKH TEXT CORPORA
Отсутствие крупных и качественно аннотированных корпу-сов по-прежнему препятствует развитию эффективных инструментов обработки естественного языка для казахского языка. В данной работе предлагается авто-матическая и полуавтоматическая структура аннотирования текстовых корпусов казахского языка, включающая предварительную обработку на основе правил, машинную разметку и ручную проверку. Предложенный конвейер включает эта-пы очистки текста, сегментации предложений, токенизации, морфологической предварительной аннотации и разрешения неоднозначных случаев в режиме ре-ального времени. Особое внимание уделяется трудностям, связанным с агглюти-нативной природой казахского языка, таким как большое количество аффиксов, гармония гласных и морфофонологические изменения. Цель предлагаемого под-хода - сократить время аннотирования при сохранении высокого качества данных и лингвистической согласованности. Полученный корпус может использоваться для таких задач, как разметка частей речи, определение значений слов и синтак-сический анализ предложений. Результаты показывают, что полуавтоматическая аннотация является эффективным и масштабируемым способом создания ресур-сов NLP для казахского языка.
Сведения
- Опубликовано
- 2026 · Т. 7, № 3(27), С. 180-197
- Язык
- Русский
- ISSN
- 2708-2032 · 2708-2040
- Издатель
- International Information Technology University
- Аффилиации
- Международный университет информационных технологий, Алматы, Казахстан.