Para abordar el problema de la segmentación imprecisa de los detalles de los bordes de la mano y la detección errónea o falta de detección de pequeñas áreas de la mano, se propone un método de segmentación de la mano multiescala basado en un mecanismo de atención. Primero, se rediseñó y optimizó el módulo Transformer, proponiendo una estructura de atención propia por ventana y una red neuronal feed-forward de dos ramas (Dual-branch Feed-Forward Networks, D-FFN). El mecanismo de atención por ventana integra la información dependiente global y local, y el D-FFN suprime las interferencias de la información de fondo. Luego, se propone un módulo de extracción de características multiescala que combina el pooling en barras y una red en cascada para aumentar el campo receptivo, mejorando la precisión y robustez del modelo de segmentación de la mano. Finalmente, se propone un módulo decodificador de upsampling basado en el mecanismo Triplet Attention que diferencia las características del objetivo y las características redundantes del fondo ajustando los pesos de atención en las dimensiones de canal y espacial. El algoritmo propuesto fue probado en los conjuntos de datos públicos GTEA (Georgia Tech Egocentric Activity) y EYTH (EgoYouTubeHands), y los resultados experimentales muestran que el valor promedio de la intersección sobre unión (MIoU) alcanzó el 95.8% y 90.2%, respectivamente, para ambos conjuntos, con mejoras del 2.5% y 2.1% respecto al algoritmo TransUnet, satisfaciendo los requisitos de segmentación de imágenes de manos estables, precisas y robustas a interferencias.

segmentación de mano; aprendizaje profundo; TransUnet; red neuronal feed-forward; módulo de pooling espaciotemporal dilatado; Triplet Attention