Rede generativa adversarial cíclica guiada por mecanismos de atenção duais especializados

LAO Jun-ming ,  

YE Wu-jian ,  

LIU Yi-jun ,  

YUAN Kai-yi ,  

摘要

Os métodos atuais de geração de imagem baseados em redes generativas adversariais cíclicas alcançam bons resultados em tarefas de transformação de imagens não pareadas por meio da introdução de módulos de atenção independentes e universais, mas ao mesmo tempo aumentam a complexidade do modelo e o tempo de treinamento, além de ser difícil focar em todos os detalhes das áreas-chave da imagem, deixando espaço para melhorias na geração de imagens. Para resolver esses problemas, propomos uma rede generativa adversarial cíclica guiada por mecanismos de atenção duais especializados (Dual-SAG-CycleGAN), aplicando diferentes mecanismos de atenção para guiar o gerador e o discriminador. Primeiramente, propomos um módulo de atenção especializado chamado SAG (Special Attention-mechanism Guided) para guiar o gerador, que melhora a qualidade das imagens geradas enquanto reduz a complexidade da rede; em seguida, para o discriminador, é utilizado um módulo guiado por mecanismo de atenção especializado baseado em CAM (Class Activation Mapping), para suprimir o ruído irrelevante gerado pelo gerador; finalmente, propomos uma função de perda de consistência cíclica para a máscara de fundo, que guia o gerador a produzir máscaras mais precisas, auxiliando melhor a transformação de imagens. Os experimentos mostram que o método proposto reduz a quantidade de parâmetros do modelo em cerca de 32,8% em comparação com modelos similares existentes, acelera o treinamento em 34,5%, com valores mínimos de KID e FID de 1,13 e 57,54 respectivamente, apresentando maior qualidade de imagem.

关键词

Redes generativas adversariais;Transformação de imagens não pareadas;Mecanismo de atenção especializado;Perda de consistência cíclica;Geração de imagens

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website