Vorhandene Methoden zur 3D-Netzrekonstruktion der Hand stehen vor mehreren Herausforderungen, insbesondere bei der Handhabung von Okklusionen und hochflexiblen Handhaltungen, was zu Verlusten geometrischer Handinformationen und topologischen Fehlern führt. Um eine genaue und effiziente 3D-Handrekonstruktion unter Okklusionsbedingungen zu gewährleisten, schlägt dieser Artikel einen zweistufigen Netzwerkrahmen vor, der die Echtzeit- und effiziente Rekonstruktion von 3D-Handnetzen aus einem einzelnen RGB-Bild ermöglicht. In der ersten Phase wurde durch die Einführung einer lernbaren Aufmerksamkeitsgewichtsmaske und eines regionalen Konsistenzverlusts im Aufmerksamkeitsmechanismus ein adaptives Okklusionswiederherstellungsmodul entworfen. Dieses Modul passt die Informationswiederherstellung in verdeckten Bereichen adaptiv an und verstärkt signifikant die Ausdrucksfähigkeit von Merkmalen bei Okklusionen. In der zweiten Phase wird ein Topologie-Pose-Bidirektionales Wahrnehmungsmodul vorgeschlagen, das statische Topologiemodellierung und dynamische Posenwahrnehmung kombiniert sowie bidirektionale graphenkonvolutionsbasierte Übertragungen und neuartige rotationsbasierte Gelenkswahrnehmungsaufmerksamkeit. Dieses Modul ermöglicht eine komplementäre Verstärkung statischer und dynamischer Merkmale und verbessert die Detailerfassung von Gelenkmerkmalen. Die Methode wurde qualitativ und quantitativ mit aktuellen fortschrittlichen Methoden auf den Datensätzen FreiHAND und InterHand2.6M verglichen. Die experimentellen Ergebnisse zeigen, dass die Methode auf dem FreiHAND-Datensatz den PA-MPVPE auf 6,1 mm und die Inferenzgeschwindigkeit auf 39 FPS senkte; auf dem InterHand2.6M-Datensatz wurden MPJPE auf 8,07 mm und MPVPE auf 8,22 mm reduziert. Die Methode erfüllt Anforderungen an Okklusionsresistenz, Echtzeitfähigkeit, Effizienz und Posenpräzision bei der 3D-Handrekonstruktion.

3D-Handnetzrekonstruktion;Aufmerksamkeitsmechanismus;Graph-Convolution-Netzwerk;Regionaler Konsistenzverlust;Tiefenlernen