Método multiresolução de transferência de pose corporal baseado em PATN e mecanismo de autoatenção

HUANG Qingdong ,  

SU Yuhui ,  

LIU Yihua ,  

CHEN Zihuang ,  

YAO Yongqi ,  

摘要

Para resolver o problema de deformação e distorção das imagens causadas pelo tratamento inadequado das características na fase de codificação nos métodos existentes de transferência de pose corporal, é proposta uma método de transferência de pose corporal multiresolução baseada na Rede de Transferência Atencional de Pose (PATN) e no mecanismo de autoatenção. Primeiramente, foi projetado um módulo de autoatenção guiado pela pose que, por meio de um mecanismo de atenção múltipla, reforça o peso dos canais de características nas regiões-chave do corpo e reduz o impacto das características irrelevantes do fundo, explorando adaptativamente a correlação entre as características das duas ramificações; em seguida, na fase de decodificação, foi adicionado um módulo de atenção multiescala para aprimorar a expressão das informações de pose em diferentes escalas, elevando efetivamente a fidelidade dos detalhes locais e da textura geral; por fim, introduziu-se a perda tripla de pixels para restringir as imagens geradas, aumentando a consistência das características e da estrutura da imagem. O método foi validado nos conjuntos de dados DeepFashion e Market-1501. Os resultados experimentais indicam que o método proposto supera os métodos PATN existentes nos índices de similaridade estrutural (SSIM), escore inicial (IS) e similaridade perceptual (LPIPS), além de melhorias na aparência visual e textura das bordas, demonstrando um potencial importante nas tarefas posteriores de reidentificação de pedestres.

关键词

Processamento de imagem; transferência de pose; CGAN; mecanismo de autoatenção; multiresolução

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website