Méthode de transfert de pose corporelle multirésolution basée sur PATN et mécanisme d'attention automatique

HUANG Qingdong ,  

SU Yuhui ,  

LIU Yihua ,  

CHEN Zihuang ,  

YAO Yongqi ,  

摘要

En réponse au problème de déformation et de distorsion des images causé par un traitement inadéquat des caractéristiques lors de la phase d'encodage dans les méthodes actuelles de transfert de pose corporelle, une méthode de transfert de pose corporelle multirésolution basée sur le Pose-Attentional Transfer Network (PATN) et le mécanisme d'attention automatique est proposée. Tout d'abord, un module d'attention automatique guidé par la pose est conçu, renforçant le poids des canaux de caractéristiques des régions clés du corps via un mécanisme d'attention multi-têtes, tout en réduisant l'impact des caractéristiques non liées à l'arrière-plan, explorant de manière adaptative la corrélation entre les caractéristiques des deux branches; ensuite, un module d'attention multi-échelle est ajouté lors de la phase de décodage pour améliorer l'expression des informations de pose à différentes échelles, ce qui améliore efficacement la fidélité des détails locaux et de la texture globale; enfin, une perte de pixels triplets est introduite pour contraindre les images générées, augmentant la cohérence des caractéristiques et de la structure des images. La méthode est validée sur les ensembles de données DeepFashion et Market-1501. Les résultats expérimentaux montrent que cette méthode surpasse les méthodes PATN existantes en termes de similarité structurelle (SSIM), score initial (IS) et similarité perceptuelle (LPIPS), avec des améliorations en termes d'apparence visuelle et de texture des contours, démontrant un potentiel important dans les tâches en aval de la ré-identification des piétons.

关键词

Traitement d'image; transfert de pose; CGAN; mécanisme d'attention automatique; multirésolution

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website