В данной работе рассматриваются ошибки оценки поз трехмерных ключевых точек, вызванные высокой степенью свободы руки и проблемой структурного сходства. Предложена совместная сеть регрессии трехмерного скелета руки, объединяющая распознавание, детекцию и оценку позы. Используя предварительную сеть на базе YOLOv3, предложена сеть детекции ключевых точек в 2D и 3D на основе каскадных многофункциональных тепловых карт, а также введены ограничения скелета руки человека в архитектуру сети извлечения признаков с использованием прогрессивного графового сверточного модуля для точной доработки результатов ключевых точек скелета и завершения тонкой настройки позы. В работе проведено сравнение с различными существующими алгоритмами по метрикам PCK и AUC на различных публичных датасетах, при этом алгоритм достигает наивысших значений AUC на разных тестовых наборах с средней точностью AUC 92,9%. Эксперименты показывают, что метод позволяет точно и детально оценивать 3D позу руки по одному изображению 2D и демонстрирует хорошие результаты на тестовых наборах и в естественных условиях.

трехмерная оценка позы; обнаружение объектов; распознавание жестов; усиление признаков; сверточные нейронные сети; графовые сверточные нейронные сети