Método de transferencia de pose corporal multiresolución basado en PATN y mecanismo de autoatención

HUANG Qingdong ,  

SU Yuhui ,  

LIU Yihua ,  

CHEN Zihuang ,  

YAO Yongqi ,  

摘要

Para abordar el problema de la deformación y distorsión de imágenes causado por un manejo inapropiado de las características en la fase de codificación en los métodos existentes de transferencia de pose corporal, se propone un método de transferencia de pose corporal multiresolución basado en la Red de Transferencia Atencional de Pose (PATN) y el mecanismo de autoatención. Primero, se diseñó un módulo de autoatención guiado por la pose que, mediante un mecanismo de atención múltiple, refuerza el peso de los canales de características en las regiones clave del cuerpo y reduce el impacto de las características irrelevantes del fondo, explorando de forma adaptativa la correlación entre las características de dos ramas; segundo, en la fase de decodificación se añadió un módulo de atención multiescala que mejora la expresión de la información de la pose en diferentes escalas, mejorando efectivamente la fidelidad de los detalles locales y la textura general; finalmente, se introdujo una pérdida triplete de píxeles para restringir las imágenes generadas, aumentando la coherencia de las características y la estructura de las imágenes. Se validó el método en los conjuntos de datos DeepFashion y Market-1501. Los resultados experimentales muestran que el método supera a los existentes basados en PATN en los índices de similitud estructural (SSIM), puntuación inicial (IS) y similitud perceptual (LPIPS), además de mejorar la apariencia visual y la textura de los bordes, demostrando un potencial importante en tareas posteriores de reidentificación de peatones.

关键词

Procesamiento de imágenes; transferencia de pose; CGAN; mecanismo de autoatención; multiresolución

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website