Central AsianResearch Index

ЭФФЕКТИВНОСТЬ СУБСЛОВНОЙ ТОКЕНИЗАЦИИ ПРИ ВИЗУАЛЬНОМ РАСПОЗНАВАНИИ РУССКОГО ЯЗЫКА ПО ГУБАМ

Автоматическое чтение по губам для русского языка до сих пор не получило систематического освещения из‑за нехватки крупных размеченных видеокорпусов и архитектур, учитывающих морфологическое богатство русской речи. Мы предлагаем end‑to‑end модель по принципу sequence‑to‑sequence: кодировщик (3DCNN + BiLSTM) выделяет пространственно‑временные признаки из области губ, а Transformer‑декодер порождает последовательность субсловных токенов Byte‑PairEncoding (BPE). Эксперименты проведены на русскоязычном датасете RUSAVIC, содержащем слитную командную речь, записанную в движущемся автомобиле. Достигнуты частота ошибок в словах (WER) 18,7% и частота ошибок в символах (CER) - 8,3%. Ablationstudies количественно характеризуют вклад субсловной токенизации, детектора губ MediaPipe и аугментаций. Обсуждаются физические и статистические ограничения, не позволяющие превзойти достигнутый уровень точности на существующих данных.

Сведения

Опубликовано
2026 · Т. 4, № 145, С. 562-572
Язык
Русский
ISSN
1609-1817 · 2790-5802
Издатель
JSC Academy of Logistics and Transport