АДАПТИВНЫЙ ТРАНСФОРМЕР ДЛЯ ИЗВЛЕЧЕНИЯ ЮРИДИЧЕСКИХ ТРИПЛЕТОВ
Юридические тексты, особенно национальыне законы, содержат сложные семантические отношения, которые крайне важны для построения графов правовых знаний и автоматизированных систем ответов на вопросы. В этой статье мы предлагаем XLM-TRIPLE - новую структуру, которая использует современную модель многоязычного трансформата XLM-Roberta для извлечения семантических триплетов из казахстанских юридических документов. Наш метод решает внутреннюю сложность юридического языка с помощью двухфазного подхода: первая фаза включает гибридную аннотацию и доменно – адаптивные предварительные обучение для создания высококачественного аннотированного набора данных, в то время как вторая фаза сосредоточена на доубчении, в ходе которого XLM-Roberta оптимизируется для классификации на уровне токенов с допольнительным моделированием последовательностей с использованием условиях случайных полей многозадачного обучения для классификации отношений. Мы формализуем наш подход с помощью строгих математических определений и формулировок потерь. Экспериментальные оценки на корпусе казахстанских законов показывают, что новая структура превосходит системы, основанные на правилах, адаптивные к домену модели BERT и другиебазовые системы со значительным отрывом по показателям Precision, Recall и F1 score. Более того, мы проиллюстрировали полезность извлеченных триплетов, сгенерировав юридическиевопросы для последующих систем ответа на юридические вопросы (QA).
Сведения
- Журнал
- Вестник КазАТК
- Опубликовано
- 2025 · Т. 137, № 2, С. 274-282
- Язык
- Русский
- ISSN
- 1609-1817 · 2790-5802
- Издатель
- JSC Academy of Logistics and Transport