Central Asian Research Index

BULLETIN of the L N Gumilyov Eurasian National University MATHEMATICS COMPUTER SCIENCE MECHANICS Series, 2021, т. 136, № 3, с. 6-17

Разработка Python приложения для распознавания жестов рук из видеопотока RGB и RGBD камер

D.Zh. Satybaldina, N.S. Glazyrina

Аннотация · Abstract

Системы распознавания жестов сильно изменились за последнее время,благодаря разработке современных устройств захвата данных (сенсоров) и разработкеновых алгоритмов для распознавания. В статье представлены результаты исследованиядля распознавания статических и динамических жестов рук из видеопотока с RGB и RGBDкамер, а именно с веб-камеры Logitech HD Pro Webcam C920 и с камеры глубины Intel RealSense D435. Программная реализация выполнена с использованием инструментовPython 3.6. Python-библиотеки с открытым исходным кодом обеспечивают надежнуюреализацию алгоритмов обработки и сегментации изображений. Подсистема извлеченияпризнаков и классификации жестов построена на основе архитектуры нейронной сетиVGG-16, реализованной c использованием фреймворков глубокого обучения TensorFlow и Keras. Приведены технические характеристики камер. Описан алгоритмработы приложения. Приведены исследования, направленные на сравнение устройствзахвата данных, при различных условиях эксперимента (по расстоянию и освещенности).Экспериментальные результаты показывают, что использование камеры глубины Intel RealSense D435 обеспечивается более точное распознавание жестов при различных условияхэксперимента

Сведения · Details