Um das Problem der ungenauen Segmentierung von Handkanten-Details sowie Fehl- und Nicht-Erkennung kleiner Handbereiche zu lösen, wird eine mehrskalige Handsegmentierungsmethode basierend auf einem Aufmerksamkeitsmechanismus vorgeschlagen. Zunächst wurde das Transformer-Modul neu entworfen und optimiert. Es wird eine Fenster-Selbstaufmerksamkeitsstruktur und ein Dual-Branch-Feed-Forward-Netzwerk (D-FFN) eingeführt. Durch den Fenster-Selbstaufmerksamkeitsmechanismus werden globale und lokale Abhängigkeitsinformationen integriert, während das D-FFN Störungen durch Hintergrundinformationen unterdrückt. Anschließend wird ein mehrskaliges Merkmalsextraktionsmodul vorgeschlagen, das Balken-Pooling und ein Kaskadennetz kombiniert, um das Empfangsfeld zu vergrößern und die Genauigkeit sowie Robustheit des Handsegmentierungsmodells zu verbessern. Schließlich wird ein Upsampling-Dekodermodul auf Basis des Triplet Attention-Mechanismus vorgeschlagen, das Zielmerkmale von redundanten Hintergrundmerkmalen durch Anpassung der Aufmerksamkeitsgewichte im Kanal- und Raumdimensionen trennt. Der vorgeschlagene Algorithmus wurde auf den öffentlichen Datensätzen GTEA (Georgia Tech Egocentric Activity) und EYTH (EgoYouTubeHands) getestet. Die experimentellen Ergebnisse zeigen, dass der durchschnittliche Intersection-over-Union-Wert (MIoU) auf beiden Datensätzen 95,8 % bzw. 90,2 % erreicht, was eine Steigerung von 2,5 % bzw. 2,1 % gegenüber dem TransUnet-Algorithmus bedeutet und Anforderungen an stabile, genaue und störungsresistente Handbildsegmentierung erfüllt.

Handsegmentierung; Deep Learning; TransUnet; Feed-Forward-Netzwerk; Dilated Spatial Pyramid Pooling Modul; Triplet Attention