Les méthodes existantes de reconstruction de maillage 3D de la main sont confrontées à plusieurs défis, notamment lors de la gestion des occlusions et des postures de main à haute flexibilité, ce qui entraîne une perte d'informations géométriques de la main et des erreurs topologiques. Afin de maintenir une reconstruction 3D précise et efficace en présence d'occlusions, cet article propose un cadre réseau en deux étapes pour reconstruire en temps réel et efficacement un maillage 3D de la main à partir d'une image RGB monoculaire. Dans la première étape, un module adaptatif de restauration des occlusions est conçu en introduisant un masque de poids d'attention apprenable et une perte de cohérence régionale dans le mécanisme d'attention. Ce module restaure de manière adaptative les informations dans les zones occluses, renforçant significativement la capacité d'expression des caractéristiques en conditions d'occlusion. Dans la deuxième étape, combinant la modélisation topologique statique, la perception dynamique de la posture, la convolution de graphes bidirectionnelle et une attention originale basée sur la rotation articulaire, un module de perception bidirectionnelle topologique-posturale est proposé. Ce module réalise un renforcement complémentaire des caractéristiques statiques et dynamiques, améliorant la capture des détails des caractéristiques articulaires. La méthode a été comparée qualitativement et quantitativement avec des méthodes avancées sur les ensembles de données FreiHAND et InterHand2.6M. Les résultats montrent que, sur l'ensemble FreiHAND, la méthode réduit le PA-MPVPE à 6,1 mm avec une vitesse d'inférence de 39 FPS ; sur InterHand2.6M, la méthode réduit le MPJPE à 8,07 mm et le MPVPE à 8,22 mm. Cette méthode répond aux exigences de résistance aux occlusions, de temps réel, d'efficacité et de précision posturale pour la reconstruction 3D de la main.

Reconstruction de maillage 3D de la main;Mécanisme d'attention;Réseau de convolution de graphes;Perte de cohérence régionale;Apprentissage profond