Central AsianResearch Index

АДАПТИВНЫЙ ТРАНСФОРМЕР ДЛЯ ИЗВЛЕЧЕНИЯ ЮРИДИЧЕСКИХ ТРИПЛЕТОВ

Юридические тексты, особенно национальыне законы, содержат сложные семантические отношения, которые крайне важны для построения графов правовых знаний и автоматизированных систем ответов на вопросы. В этой статье мы предлагаем XLM-TRIPLE - новую структуру, которая использует современную модель многоязычного трансформата XLM-Roberta для извлечения семантических триплетов из казахстанских юридических документов. Наш метод решает внутреннюю сложность юридического языка с помощью двухфазного подхода: первая фаза включает гибридную аннотацию и доменно – адаптивные предварительные обучение для создания высококачественного аннотированного набора данных, в то время как вторая фаза сосредоточена на доубчении, в ходе которого XLM-Roberta оптимизируется для классификации на уровне токенов с допольнительным моделированием последовательностей с использованием условиях случайных полей многозадачного обучения для классификации отношений. Мы формализуем наш подход с помощью строгих математических определений и формулировок потерь. Экспериментальные оценки на корпусе казахстанских законов показывают, что новая структура превосходит системы, основанные на правилах, адаптивные к домену модели BERT и другиебазовые системы со значительным отрывом по показателям Precision, Recall и F1 score. Более того, мы проиллюстрировали полезность извлеченных триплетов, сгенерировав юридическиевопросы для последующих систем ответа на юридические вопросы (QA).

Сведения

Опубликовано
2025 · Т. 137, № 2, С. 274-282
Язык
Русский
ISSN
1609-1817 · 2790-5802
Издатель
JSC Academy of Logistics and Transport