Para resolver o problema da segmentação imprecisa de detalhes nas bordas das mãos e a detecção incorreta ou perda de pequenas áreas das mãos, propõe-se um método de segmentação de mãos em múltiplas escalas baseado no mecanismo de atenção. Primeiramente, o módulo Transformer foi redesenhado e otimizado, propondo uma estrutura de autoatenção baseada em janelas e uma rede feed-forward de dupla ramificação (Dual-branch Feed-Forward Networks, D-FFN). O mecanismo de autoatenção por janela integra informações globais e locais dependentes, enquanto o D-FFN suprime a interferência de informações de fundo. Em seguida, propõe-se um módulo de extração de características multiescala que combina pooling em barras e rede em cascata para aumentar o campo receptivo, melhorando a precisão e robustez do modelo de segmentação de mãos. Por fim, um módulo decodificador de upsampling baseado no mecanismo Triplet Attention é proposto, que diferencia características do objeto e características redundantes do fundo ao ajustar os pesos de atenção nas dimensões de canal e espacial. O algoritmo proposto foi testado nos conjuntos de dados públicos GTEA (Georgia Tech Egocentric Activity) e EYTH (EgoYouTubeHands). Os resultados experimentais mostram que o valor médio da interseção sobre união (MIoU) atingiu 95,8% e 90,2% nos dois conjuntos de dados, representando um aumento de 2,5% e 2,1%, respectivamente, em comparação ao algoritmo TransUnet, atendendo aos requisitos de segmentação estável, precisa e robusta de imagens de mão.

segmentação de mão; aprendizado profundo; TransUnet; rede feed-forward; módulo de pooling espacial com pirâmide dilatada; Triplet Attention