Central AsianResearch Index

Извлечение сущностей из отчётов о киберразведке на основе больших языковых моделей

Отчёты о киберразведке (Cyber Threat Intelligence, CTI) сочетают аналитический нарратив с насыщенными техническими индикаторами, что делает структурированное извлечение сущностей сложной, но оперативно значимой задачей. В данной работе представлена сравнительная оценка трёх больших языковых моделей (Claude Sonnet 4.6, GPT-5.4 и LLaMA 4 Scout) на размеченном корпусе из 21 отчёты о киберразведке охватывающего 15 типов сущностей и 1284 эталонных экземпляра. Оцениваются условия промптинга «без примеров» (zero-shot) и «с примерами» (few-shot), а также изучается эффект итеративного уточнения промптов. Результаты демонстрируют, что Claude Sonnet 4.6 и GPT-5.4 показывают сопоставимую производительность в режиме zero-shot, тогда как LLaMA 4 Scout существенно отстаёт. Сложность извлечения существенно варьируется в зависимости от типа сущности, технические индикаторы извлекаются практически идеально, тогда как семантические категории (инструменты и целевой сектор) представляют наибольшую трудность для всех исследованных моделей.

Сведения

Опубликовано
2026 · Т. 9, № 3, С. 7-15
Язык
Русский
ISSN
2181-3086 · 2181-3094
Издатель
Samarkand branch of Tashkent University of Information Technologies