基于双专用注意力机制引导的循环生成对抗网络

劳俊明; 叶武剑; 刘怡俊; 袁凯奕

doi:10.37188/CJLCD.2021-0293

您当前的位置：

首页 >

文章列表页 >

基于双专用注意力机制引导的循环生成对抗网络

图像处理 | 更新时间：2022-06-06

- 基于双专用注意力机制引导的循环生成对抗网络
- Cycle generative adversarial network guided by dual special attention mechanism
- 液晶与显示 2022年37卷第6期页码：746-757
- 作者机构：
  
  1.广东工业大学信息工程学院，广东广州 510006
  2.广东工业大学集成电路学院，广东广州 510006
- 作者简介：
  
  [ "劳俊明（1996—），男，广东茂名人，硕士研究生，2015年于五邑大学获得学士学位，主要从事计算机视觉与深度学习方面的研究。E-mail： 1135804550@qq.com" ]
  [ "叶武剑（1987—），男，广东韶关人，博士，讲师，2015年于檀国大学（Dankook University）获得博士学位，主要从事计算机视觉与深度学习、机器学习应用等方面的研究。E-mail： yewjian@126.com" ]
- 基金信息：
  
  广东省教育厅创新人才广东工业大学青年百人项目(220413548);广东省重点区域研究开发计划(2018B010115002;2018B010107003;2018B030338001)
- DOI：10.37188/CJLCD.2021-0293
  中图分类号： TP391.4
- 收稿日期：2021-11-24，
  
  修回日期：2022-01-06，
  
  纸质出版日期：2022-06-05
- 稿件说明：
移动端阅览
劳俊明, 叶武剑, 刘怡俊, 等. 基于双专用注意力机制引导的循环生成对抗网络[J]. 液晶与显示, 2022,37(6):746-757.

Jun-ming LAO, Wu-jian YE, Yi-jun LIU, et al. Cycle generative adversarial network guided by dual special attention mechanism[J]. Chinese journal of liquid crystals and displays, 2022, 37(6): 746-757.
劳俊明, 叶武剑, 刘怡俊, 等. 基于双专用注意力机制引导的循环生成对抗网络[J]. 液晶与显示, 2022,37(6):746-757. DOI： 10.37188/CJLCD.2021-0293.

Jun-ming LAO, Wu-jian YE, Yi-jun LIU, et al. Cycle generative adversarial network guided by dual special attention mechanism[J]. Chinese journal of liquid crystals and displays, 2022, 37(6): 746-757. DOI： 10.37188/CJLCD.2021-0293.

摘要

现有基于循环生成对抗网络的图像生成方法通过引入独立通用的注意力模块，在无匹配图像转换任务中取得了较好的效果，但同时也增加了模型复杂度与训练时间，而且难以关注到图中关键区域的所有细节，图像生成效果仍有提升的空间。针对上述问题，提出一种基于双专用注意力机制引导的循环生成对抗网络（Dual-SAG-CycleGAN），分别对生成器和判别器采用不同的注意力机制进行引导。首先，提出一种名为SAG（Special Attention-mechanism Guided）的专用注意力模块来引导生成器工作，在提升生成图像质量的同时降低网络的复杂度；然后，对判别器采用基于CAM（Class Activation Mapping）的专用注意力机制引导模块，抑制生成器生成无关的噪声；最后，提出背景掩码的循环一致性损失函数，引导生成器生成更加精准的掩码图，更好地辅助图像转换。实验证明，本文方法与现有同类模型相比，网络模型参数量降低近32.8%，训练速度快34.5%，KID与FID最低分别可达1.13和57.54，拥有更高的成像质量。

Abstract

The existing image generation methods based on cycle generative adversarial network have achieved excellent results in unpaired image to image translation tasks by introducing a separate generic attention module， but they also increase the model complexity and training time， and it is difficult to focus on all the details of key regions in the image， and there is still room for improvement in image generation results. To solve these problems， this paper proposes a dual special attention-mechanism guided cycle generative adversarial network architecture for unpaired image transformation translation （Dual-SAG-CycleGAN）. Firstly， to improve the quality of the generated images and reduce the complexity of the network， a special attention module called SAG （Special Attention-mechanism Guided） is proposed to guide the generator. Then， to suppress the generation of extraneous noise by the generator， a discriminator based on special attention mechanism of CAM （Class Activation Mapping）is introduced. Finally， a cyclic consistency loss function for the background mask is introduced to guide the network to generate a more accurate mask map， which can better aid for image translation. Experiments demonstrate that compared with similar existing models， our proposed method can reduce the maximum number of parameters by 32.8%， speed of train 34.5% faster， and generate higher quality images with a minimum KID and FID of 1.13 and 57.54， respectively.

关键词

Keywords

references

陈宗航，胡海龙，姚剑敏，等 . 基于改进生成对抗网络的单帧图像超分辨率重建［J］. 液晶与显示， 2021 ， 36 （ 5 ）： 705 - 712 ． doi: 10.37188/CJLCD.2020-0250 http://dx.doi.org/10.37188/CJLCD.2020-0250

CHEN Z H ， HU H L ， YAO J M ， et al . Single frame image super-resolution reconstruction based on improved generative adversarial network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 5 ）： 705 - 712 . （in Chinese） . doi: 10.37188/CJLCD.2020-0250 http://dx.doi.org/10.37188/CJLCD.2020-0250

KARRAS T ， LAINE S ， AILA T . A style-based generator architecture for generative adversarial networks ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach ： IEEE ， 2019 ： 4396 - 4405 . doi: 10.1109/cvpr.2019.00453 http://dx.doi.org/10.1109/cvpr.2019.00453

CAO Y ， ZHOU Z M ， ZHANG W N ， et al . Unsupervised diverse colorization via generative adversarial networks ［C］// European Conference on Machine Learning and Knowledge Discovery in Databases . Skopje ： Springer ， 2017 ： 151 - 166 . doi: 10.1007/978-3-319-71249-9_10 http://dx.doi.org/10.1007/978-3-319-71249-9_10

周文舟，范晨，胡小平，等 . 多尺度奇异值分解的偏振图像融合去雾算法与实验［J］. 中国光学， 2021 ， 14 （ 2 ）： 298 - 306 ． doi: 10.37188/CO.2020-0099 http://dx.doi.org/10.37188/CO.2020-0099

ZHOU W Z ， FAN C ， HU X P ， et al . Multi-scale singular value decomposition polarization image fusion defogging algorithm and experiment ［J］. Chinese Optics ， 2021 ， 14 （ 2 ）： 298 - 306 . （in Chinese） . doi: 10.37188/CO.2020-0099 http://dx.doi.org/10.37188/CO.2020-0099

GOODFELLOW I ， POUGET-ABADIE J ， MIRZA M ， et al . Generative adversarial networks ［C］// Advances in Neural Information Processing Systems （NeurIPS） . Cambridge， MA ： MIT Press ， 2014 ： 2672 - 2680 .

ISOLA P ， ZHU J Y ， ZHOU T H ， et al . Image-to-image translation with conditional adversarial networks ［C］// IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Honolulu ： IEEE ， 2017 ： 5967 - 5976 . doi: 10.1109/cvpr.2017.632 http://dx.doi.org/10.1109/cvpr.2017.632

YI Z L ， ZHANG H ， TAN P ， et al . DualGAN： unsupervised dual learning for image-to-image translation ［C］// IEEE International Conference on Computer Vision （ICCV） . Venice ： IEEE ， 2017 ： 2868 - 2876 . doi: 10.1109/iccv.2017.310 http://dx.doi.org/10.1109/iccv.2017.310

KIM T ， CHA M ， KIM H ， et al . Learning to discover cross-domain relations with generative adversarial networks ［C］// Proceedings of the 34th International Conference on Machine Learning （ICML） . Sydney ： ACM ， 2017 ： 1857 - 1865 . doi: 10.1109/iccvw.2017.229 http://dx.doi.org/10.1109/iccvw.2017.229

LIU M Y ， BREUEL T ， KAUTZ J . Unsupervised image-to-image translation networks ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems . Long Beach ： ACM ， 2017 ： 700 - 708 .

HUANG X ， LIU M Y ， BELONGIE S ， et al . Multimodal unsupervised image-to-image translation ［C］// 15th European Conference on Computer Vision （ECCV） . Munich ： Springer ， 2018 ： 179 - 196 . doi: 10.1007/978-3-030-01219-9_11 http://dx.doi.org/10.1007/978-3-030-01219-9_11

LEE H Y ， TSENG H Y ， HUANG J B ， et al . Diverse image-to-image translation via disentangled representations ［C］// 15th European Conference on Computer Vision （ECCV） . Munich ： Springer ， 2018 ： 36 - 52 . doi: 10.1007/978-3-030-01246-5_3 http://dx.doi.org/10.1007/978-3-030-01246-5_3

ZHU J Y ， PARK T ， ISOLA P ， et al . Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］// IEEE International Conference on Computer Vision （ICCV） . Venice ： IEEE ， 2017 ： 2242 - 2251 . doi: 10.1109/iccv.2017.244 http://dx.doi.org/10.1109/iccv.2017.244

MEJJATI Y A ， RICHARDT C ， TOMPKIN J ， et al . Unsupervised attention-guided image-to-image translation ［C］// Advances in Neural Information Processing Systems （NeurIPS） . Cambridge， MA ： MIT Press ， 2018 ： 3697 - 3707 .

CHEN X Y ， XU C ， YANG X K ， et al . Attention-GAN for object transfiguration in wild images ［C］// 15th European Conference on Computer Vision （ECCV） . Munich ： Springer ， 2018 ： 167 - 184 . doi: 10.1007/978-3-030-01216-8_11 http://dx.doi.org/10.1007/978-3-030-01216-8_11

YANG C ， KIM T ， WANG R Z ， et al . Show， attend， and translate： unsupervised image translation with self-regularization and attention ［J］. IEEE Transactions on Image Processing ， 2019 ， 28 （ 10 ）： 4845 - 4856 . doi: 10.1109/tip.2019.2914583 http://dx.doi.org/10.1109/tip.2019.2914583

TANG H ， XU D ， SEBE N ， et al . Attention-Guided Generative Adversarial Networks for Unsupervised Image-to-Image Translation ［C］// International Joint Conference on Neural Networks （IJCNN） . Budapest ： IEEE ， 2019 ： 1 - 8 . doi: 10.1109/ijcnn.2019.8851881 http://dx.doi.org/10.1109/ijcnn.2019.8851881

KIM J ， KIM M ， KANG H ， et al . U-GAT-IT： unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation ［C］// International Conference on Learning Representations （ICLR） . Berlin ： ICLR ， 2020 .

ZHOU B L ， KHOSLA A ， LAPEDRIZA A ， et al . Learning deep features for discriminative localization ［C］// IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Las Vegas ： IEEE ， 2016 ： 2921 - 2929 . doi: 10.1109/cvpr.2016.319 http://dx.doi.org/10.1109/cvpr.2016.319

WANG F ， JIANG M Q ， QIAN C ， et al . Residual attention network for image classification ［C］// IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Honolulu ： IEEE ， 2017 ： 6450 - 6458 . doi: 10.1109/cvpr.2017.683 http://dx.doi.org/10.1109/cvpr.2017.683

MA S ， FU J L ， CHEN C W ， et al . DA-GAN： Instance-level image translation by deep attention generative adversarial networks ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Salt Lake City ： IEEE ， 2018 ： 5657 - 5666 . doi: 10.1109/cvpr.2018.00593 http://dx.doi.org/10.1109/cvpr.2018.00593

WU W ， CAO K D ， LI C ， et al . TransGaGa： geometry-aware unsupervised image-to-image translation ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach ： IEEE ， 2019 ： 8004 - 8013 . doi: 10.1109/cvpr.2019.00820 http://dx.doi.org/10.1109/cvpr.2019.00820

BIŃKOWSKI M ， SUTHERLAND D J ， ARBEL M ， et al . Demystifying MMD GANs ［C］// International Conference on Learning Representations （ICLR） . Berlin， German ： ICLR ， 2018 ： 871 - 878 .

HEUSEL M ， RAMSAUER H ， UNTERTHINER T ， et al . GANs trained by a two time-scale update rule converge to a local nash equilibrium ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems . Long Beach ： ACM ， 2017 ： 6629 - 6640 . doi: 10.48550/arXiv.1706.08500 http://dx.doi.org/10.48550/arXiv.1706.08500

浏览量

268

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于自监督注意和图像特征融合的文本生成图像方法

基于集成生成对抗网络的视频异常事件检测方法

基于残差卷积注意力网络的视频修复

基于DCN的无监督域自适应行人重识别方法