Pour résoudre le problème d'une segmentation imprécise des détails des bords de la main ainsi que les erreurs de détection ou omissions des petites zones de la main, une méthode de segmentation multi-échelle de la main basée sur un mécanisme d'attention est proposée. Tout d'abord, le module Transformer a été repensé et optimisé, une structure d'attention locale par fenêtre et un réseau feed-forward à double branche (Dual-branch Feed-Forward Networks, D-FFN) ont été introduits. Ce mécanisme d'attention locale intègre les dépendances globales et locales, tandis que le D-FFN supprime les interférences liées au fond. Ensuite, un module d'extraction de caractéristiques multi-échelle combinant le pooling en barres et un réseau en cascade est proposé pour augmenter le champ réceptif, améliorant ainsi la précision et la robustesse du modèle de segmentation de la main. Enfin, un module décodeur d'upsampling basé sur le mécanisme Triplet Attention est proposé, qui distingue les caractéristiques de l'objet des caractéristiques redondantes du fond en ajustant les poids d'attention dans les dimensions canal et spatiale. L'algorithme proposé a été testé sur les ensembles de données publics GTEA (Georgia Tech Egocentric Activity) et EYTH (EgoYouTubeHands). Les résultats expérimentaux montrent que la valeur moyenne de l'Intersection over Union (MIoU) a atteint respectivement 95,8% et 90,2% sur les deux jeux de données, soit une amélioration de 2,5% et 2,1% par rapport à l'algorithme TransUnet, répondant ainsi aux exigences de segmentation de l'image de la main avec stabilité, haute précision et forte résistance au bruit.

Segmentation de la main; apprentissage profond; TransUnet; réseau feed-forward; module de pooling en pyramide spatiale dilatée; Triplet Attention