Méthode multi-résolution de transfert de posture corporelle basée sur PATN et mécanisme d'auto-attention

HUANG Qingdong ,  

SU Yuhui ,  

LIU Yihua ,  

CHEN Zihuang ,  

YAO Yongqi ,  

摘要

Il est connu que les méthodes actuelles de transfert de la posture du corps échouent à traiter les problèmes de distorsion de l'image en raison d'un traitement inapproprié des caractéristiques à l'étape de codage, c'est pourquoi cette recherche propose une méthode de transfert de la posture du corps multi-résolution basée sur le réseau de transfert d'attention à la posture (PATN) et le mécanisme d'auto-attention. Premièrement, un module d'attention guidée par la posture est conçu, en renforçant les poids des canaux de caractéristiques des zones corporelles clés via un mécanisme d'attention multi-têtes et en réduisant l'impact des caractéristiques non pertinentes de l'arrière-plan, explorant adaptativement la corrélation entre les caractéristiques des deux branches; deuxièmement, à l'étape de décodage, un module d'attention multi-échelle est ajouté pour renforcer l'expression des informations de posture à différentes échelles et améliorer efficacement la fidélité des détails locaux et de la texture globale; enfin, la perte de triple pixel est introduite pour contraindre les images générées, améliorant la cohérence des caractéristiques et de la structure de l'image. Cela se traduit par une amélioration significative de la qualité visuelle et texturale, ainsi qu'un potentiel important dans la tâche en aval de reconnaissance des personnes.

关键词

Traitement d'image; transfert de posture; CGAN; mécanisme d'auto-attention; multi-résolution

阅读全文