Diante do problema da alta liberdade da mão e do erro na estimativa da pose de pontos-chave 3D causado por semelhança estrutural, este artigo propõe uma rede de regressão da pose do esqueleto da mão 3D que integra reconhecimento, detecção e estimação de pose. Usando uma rede de pré-processamento baseada em YOLOv3, propõe-se uma rede de detecção de pontos-chave 2D e 3D baseada em mapas térmicos em cascata de múltiplas características, introduzindo restrições do esqueleto da mão humana na arquitetura da rede de extração de características. Um módulo progressivo de aprimoramento de características por rede neural convolucional gráfica é usado para corrigir finamente os resultados dos pontos-chave do esqueleto, completando o ajuste da pose do grosso ao fino. Este artigo compara o algoritmo com várias outras abordagens em diferentes bases de dados públicas usando os indicadores PCK e AUC; o algoritmo atingiu os valores mais altos de AUC em diferentes conjuntos de teste, com precisão média de AUC de 92,9%. Os experimentos mostram que o método pode estimar a pose 3D da mão com precisão e detalhes a partir de uma única imagem 2D, apresentando bom desempenho tanto em conjuntos de teste quanto em cenários naturais.

estimativa de pose 3D; detecção de objetos; reconhecimento de gestos; aprimoramento de características; redes neurais convolucionais; redes neurais convolucionais gráficas