Os métodos atuais de reconstrução de malhas tridimensionais da mão enfrentam vários desafios, especialmente no tratamento de oclusões e posturas de mão de alta flexibilidade, resultando em perda de informações geométricas da mão e erros na topologia. Para manter a reconstrução 3D da mão precisa e eficiente em situações de oclusão, este artigo propõe uma estrutura de rede de duas etapas para reconstruir malhas tridimensionais da mão em tempo real e de forma eficiente a partir de imagens RGB monoculares. Na primeira etapa, foi projetado um módulo adaptativo de recuperação de oclusão, introduzindo uma máscara de peso de atenção aprendível e uma perda de consistência regional no mecanismo de atenção. Este módulo restaura adaptativamente as informações nas regiões ocluídas, aumentando significativamente a capacidade de expressão das características em condições de oclusão. Na segunda etapa, combinando modelagem topológica estática e percepção dinâmica de postura, além da propagação bidirecional da convolução gráfica e uma atenção inovadora baseada na percepção da rotação das articulações, foi proposto um módulo de percepção bidirecional topológica-postural. Este módulo realiza um reforço complementar de características estáticas e dinâmicas, melhorando a captura de detalhes das características articulares. O método foi comparado qualitativa e quantitativamente com métodos avançados nos conjuntos de dados FreiHAND e InterHand2.6M. Os resultados experimentais mostram que, no conjunto FreiHAND, o método reduziu o PA-MPVPE para 6,1 mm, com velocidade de inferência de 39 FPS; no conjunto InterHand2.6M, o método reduziu o MPJPE para 8,07 mm e o MPVPE para 8,22 mm. O método atende aos requisitos de resistência à oclusão, tempo real, eficiência e precisão postural para reconstrução 3D da mão.

Reconstrução de malha 3D da mão;Mecanismo de atenção;Rede de convolução gráfica;Perda de consistência regional;Aprendizado profundo