Central AsianResearch Index

УАҚЫТША КОНВОЛЮЦИЯЛЫҚ ЖЕЛІ МЕН MEDIAPIPE КӨМЕГІМЕН ЫМ ТІЛІН ТАНУ

Бұл зерттеу ым тілін танудың жаңа жүйесін ұсынады. Ол визуалды ақпаратты кодтауға арналған уақытша конволюциялық желіні мәтіндік көріністер жасау үшін Transformer-ге негізделген декодермен біріктіреді. Жүйе қимыл-қозғалыс бейнелерін мәтінге түрлендіреді, уақыт өте келе қозғалыс ағынын да, белгілердің кеңістіктік орналасуын да тиімді түсіреді. Бұған қол жеткізу үшін MediaPipe әр бейне кадрдан 3D бағдарлы деректерді шығарып, оны модельдің оңтайлы өнімділігіне дайындайды. Бұл архитектураның тиімділігі оның ым тілін нақты тану тапсырмаларына жарамдылығын растайтын қазақ орыс ым тілі деректер жинағы арқылы тексеріледі. Бұл мақалада ым тілін танудағы негізгі мәселелер, соның ішінде пайдаланушылар арасындағы вариациялар, шектеулі оқыту деректері және ресурстары аз тілдер үшін алдын ала дайындалған үлгілердің болмауы қарастырылады. Нәтижесінде, бұл зерттеу есту және сөйлеу қабілеті бұзылған адамдардың өзара әрекеттесуін жеңілдететін, әртүрлі инклюзивті қолданбаларды қолдайтын және инклюзивтілікке ықпал ететін коммуникациялық технологияларды дамытуға ықпал етеді.

Сведения

Опубликовано
2026 · Т. 357, № 1
Язык
Казахский
ISSN
1991-346X · 2518-1726
Издатель
Central Asian Academic Research Center LLP