АДАПТИВНЫЙ МАРШРУТИЗАТОР ВЫВОДА С УЧЕТОМ КЛЮЧЕВЫХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ ДЛЯ МОДЕЛЕЙ ЕСТЕСТВЕННОГО ЯЗЫКА: ADAPTIVE OUTPUT ROUTER FOR NATURAL LANGUAGE MODELS CONSIDERING KEY PERFORMANCE INDICATORS
В статье предложен KPI-ориентированный каскадный марш-рутизатор для задачи многоклассовой классификации текстов, последовательно использующий лёгкую, среднюю и тяжёлую модели в зависимости от уровня уверенности предсказания. Актуальность работы определяется необходимостью согласованного управления точностью классификации и вычислительными за-тратами в прикладных NLP-системах, где применение только наиболее точных моделей часто оказывается неэффективным по времени ответа и стоимости ин-ференса. Эксперименты выполнены на корпусе WOS-11967, содержащем 11 967 научных текстов. Для корректной настройки и независимой оценки использо-ван двухэтапный протокол с раздельными подвыборками VAL и FINAL. Лёгкая, средняя и тяжёлая модели различаются способом представления текста и вычис-лительной сложностью, а маршрутизация между ними осуществляется на основе порогов уверенности. Для лёгкой и средней моделей уверенность определялась как разность между двумя наибольшими значениями функции решения. Подбор порогов выполнялся на VAL с учётом бюджетного ограничения, задаваемого параметром α. Полученные результаты показывают, что предложенный каскад позволяет ускорить инференс по сравнению с тяжёлой моделью при умеренном снижении точности, сохраняя управляемый компромисс между качеством и вы-числительной стоимостью. Практическая значимость работы состоит в возмож-ности применения предложенной схемы в системах, где важен баланс между точностью, скоростью и ресурсными ограничениями.
Сведения
- Опубликовано
- 2026 · Т. 7, № 3(27), С. 160-179
- Язык
- Русский
- ISSN
- 2708-2032 · 2708-2040
- Издатель
- International Information Technology University
- Аффилиации
- Казахский национальный университет им. аль-Фараби, Алматы, Казахстан
Казахский национальный аграрный исследовательский университет, Алматы, Казахстан.