ЭФФЕКТИВНОСТЬ СУБСЛОВНОЙ ТОКЕНИЗАЦИИ ПРИ ВИЗУАЛЬНОМ РАСПОЗНАВАНИИ РУССКОГО ЯЗЫКА ПО ГУБАМ
Автоматическое чтение по губам для русского языка до сих пор не получило систематического освещения из‑за нехватки крупных размеченных видеокорпусов и архитектур, учитывающих морфологическое богатство русской речи. Мы предлагаем end‑to‑end модель по принципу sequence‑to‑sequence: кодировщик (3DCNN + BiLSTM) выделяет пространственно‑временные признаки из области губ, а Transformer‑декодер порождает последовательность субсловных токенов Byte‑PairEncoding (BPE). Эксперименты проведены на русскоязычном датасете RUSAVIC, содержащем слитную командную речь, записанную в движущемся автомобиле. Достигнуты частота ошибок в словах (WER) 18,7% и частота ошибок в символах (CER) - 8,3%. Ablationstudies количественно характеризуют вклад субсловной токенизации, детектора губ MediaPipe и аугментаций. Обсуждаются физические и статистические ограничения, не позволяющие превзойти достигнутый уровень точности на существующих данных.
Сведения
- Журнал
- Вестник КазАТК
- Опубликовано
- 2026 · Т. 4, № 145, С. 562-572
- Язык
- Русский
- ISSN
- 1609-1817 · 2790-5802
- Издатель
- JSC Academy of Logistics and Transport