Ante el problema de alta libertad de la mano y el error en la estimación de la pose de puntos clave en 3D causado por la similitud estructural, este artículo propone una red de regresión de la pose del esqueleto de la mano 3D que combina reconocimiento, detección y estimación de pose. Utilizando una red de preprocesamiento basada en YOLOv3, se propone una red de detección de puntos clave 2D y 3D basada en mapas térmicos en cascada de múltiples características, e introduce restricciones del esqueleto de la mano humana en la arquitectura de extracción de características, utilizando un módulo progresivo de mejora de características con redes neuronales convolucionales gráficas para corregir con mayor precisión los resultados de los puntos clave del esqueleto y completar el ajuste de la pose de grueso a fino. Se comparó este método con varios algoritmos existentes en diferentes conjuntos de datos públicos usando los indicadores PCK y AUC; el algoritmo alcanzó los valores más altos de AUC en diferentes conjuntos de prueba, con una precisión media de AUC del 92.9%. Los experimentos muestran que el método puede estimar con precisión y detalle la pose 3D de la mano a partir de una sola imagen 2D, presentando buen desempeño tanto en conjuntos de prueba como en escenarios naturales.

estimación de pose 3D; detección de objetos; reconocimiento de gestos; mejora de características; redes neuronales convolucionales; redes neuronales convolucionales gráficas