Cycle generative adversarial network guided by dual special attention mechanism

Jun-ming LAO; Wu-jian YE; Yi-jun LIU; Kai-yi YUAN

doi:10.37188/CJLCD.2021-0293

您当前的位置：

首页 >

文章列表页 >

Cycle generative adversarial network guided by dual special attention mechanism

Image Processing | 更新时间：2022-06-06

- Cycle generative adversarial network guided by dual special attention mechanism
- Chinese Journal of Liquid Crystals and Displays Vol. 37, Issue 6, Pages: 746-757(2022)
- 作者机构：
  
  1.广东工业大学信息工程学院，广东广州 510006
  2.广东工业大学集成电路学院，广东广州 510006
- 作者简介：
- 基金信息：
  
  Guangdong Provincial Education Department Innovative Talents Guangdong University of Technology Youth100 Project(220413548);Key Area Research and Development Program of Guangdong Province(2018B010115002;2018B010107003;2018B030338001)
- DOI：10.37188/CJLCD.2021-0293
  CLC： TP391.4
- Received：24 November 2021，
  
  Revised：06 January 2022，
  
  Published：05 June 2022
- 稿件说明：
移动端阅览
Jun-ming LAO, Wu-jian YE, Yi-jun LIU, et al. Cycle generative adversarial network guided by dual special attention mechanism[J]. Chinese journal of liquid crystals and displays, 2022, 37(6): 746-757.
DOI：

Jun-ming LAO, Wu-jian YE, Yi-jun LIU, et al. Cycle generative adversarial network guided by dual special attention mechanism[J]. Chinese journal of liquid crystals and displays, 2022, 37(6): 746-757. DOI： 10.37188/CJLCD.2021-0293.

摘要

现有基于循环生成对抗网络的图像生成方法通过引入独立通用的注意力模块，在无匹配图像转换任务中取得了较好的效果，但同时也增加了模型复杂度与训练时间，而且难以关注到图中关键区域的所有细节，图像生成效果仍有提升的空间。针对上述问题，提出一种基于双专用注意力机制引导的循环生成对抗网络（Dual-SAG-CycleGAN），分别对生成器和判别器采用不同的注意力机制进行引导。首先，提出一种名为SAG（Special Attention-mechanism Guided）的专用注意力模块来引导生成器工作，在提升生成图像质量的同时降低网络的复杂度；然后，对判别器采用基于CAM（Class Activation Mapping）的专用注意力机制引导模块，抑制生成器生成无关的噪声；最后，提出背景掩码的循环一致性损失函数，引导生成器生成更加精准的掩码图，更好地辅助图像转换。实验证明，本文方法与现有同类模型相比，网络模型参数量降低近32.8%，训练速度快34.5%，KID与FID最低分别可达1.13和57.54，拥有更高的成像质量。

Abstract

The existing image generation methods based on cycle generative adversarial network have achieved excellent results in unpaired image to image translation tasks by introducing a separate generic attention module， but they also increase the model complexity and training time， and it is difficult to focus on all the details of key regions in the image， and there is still room for improvement in image generation results. To solve these problems， this paper proposes a dual special attention-mechanism guided cycle generative adversarial network architecture for unpaired image transformation translation （Dual-SAG-CycleGAN）. Firstly， to improve the quality of the generated images and reduce the complexity of the network， a special attention module called SAG （Special Attention-mechanism Guided） is proposed to guide the generator. Then， to suppress the generation of extraneous noise by the generator， a discriminator based on special attention mechanism of CAM （Class Activation Mapping）is introduced. Finally， a cyclic consistency loss function for the background mask is introduced to guide the network to generate a more accurate mask map， which can better aid for image translation. Experiments demonstrate that compared with similar existing models， our proposed method can reduce the maximum number of parameters by 32.8%， speed of train 34.5% faster， and generate higher quality images with a minimum KID and FID of 1.13 and 57.54， respectively.

关键词

Keywords

references

陈宗航，胡海龙，姚剑敏，等 . 基于改进生成对抗网络的单帧图像超分辨率重建［J］. 液晶与显示， 2021 ， 36 （ 5 ）： 705 - 712 ． doi: 10.37188/CJLCD.2020-0250 http://dx.doi.org/10.37188/CJLCD.2020-0250

CHEN Z H ， HU H L ， YAO J M ， et al . Single frame image super-resolution reconstruction based on improved generative adversarial network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 5 ）： 705 - 712 . （in Chinese） . doi: 10.37188/CJLCD.2020-0250 http://dx.doi.org/10.37188/CJLCD.2020-0250

KARRAS T ， LAINE S ， AILA T . A style-based generator architecture for generative adversarial networks ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach ： IEEE ， 2019 ： 4396 - 4405 . doi: 10.1109/cvpr.2019.00453 http://dx.doi.org/10.1109/cvpr.2019.00453

CAO Y ， ZHOU Z M ， ZHANG W N ， et al . Unsupervised diverse colorization via generative adversarial networks ［C］// European Conference on Machine Learning and Knowledge Discovery in Databases . Skopje ： Springer ， 2017 ： 151 - 166 . doi: 10.1007/978-3-319-71249-9_10 http://dx.doi.org/10.1007/978-3-319-71249-9_10

周文舟，范晨，胡小平，等 . 多尺度奇异值分解的偏振图像融合去雾算法与实验［J］. 中国光学， 2021 ， 14 （ 2 ）： 298 - 306 ． doi: 10.37188/CO.2020-0099 http://dx.doi.org/10.37188/CO.2020-0099

ZHOU W Z ， FAN C ， HU X P ， et al . Multi-scale singular value decomposition polarization image fusion defogging algorithm and experiment ［J］. Chinese Optics ， 2021 ， 14 （ 2 ）： 298 - 306 . （in Chinese） . doi: 10.37188/CO.2020-0099 http://dx.doi.org/10.37188/CO.2020-0099

GOODFELLOW I ， POUGET-ABADIE J ， MIRZA M ， et al . Generative adversarial networks ［C］// Advances in Neural Information Processing Systems （NeurIPS） . Cambridge， MA ： MIT Press ， 2014 ： 2672 - 2680 .

ISOLA P ， ZHU J Y ， ZHOU T H ， et al . Image-to-image translation with conditional adversarial networks ［C］// IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Honolulu ： IEEE ， 2017 ： 5967 - 5976 . doi: 10.1109/cvpr.2017.632 http://dx.doi.org/10.1109/cvpr.2017.632

YI Z L ， ZHANG H ， TAN P ， et al . DualGAN： unsupervised dual learning for image-to-image translation ［C］// IEEE International Conference on Computer Vision （ICCV） . Venice ： IEEE ， 2017 ： 2868 - 2876 . doi: 10.1109/iccv.2017.310 http://dx.doi.org/10.1109/iccv.2017.310

KIM T ， CHA M ， KIM H ， et al . Learning to discover cross-domain relations with generative adversarial networks ［C］// Proceedings of the 34th International Conference on Machine Learning （ICML） . Sydney ： ACM ， 2017 ： 1857 - 1865 . doi: 10.1109/iccvw.2017.229 http://dx.doi.org/10.1109/iccvw.2017.229

LIU M Y ， BREUEL T ， KAUTZ J . Unsupervised image-to-image translation networks ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems . Long Beach ： ACM ， 2017 ： 700 - 708 .

HUANG X ， LIU M Y ， BELONGIE S ， et al . Multimodal unsupervised image-to-image translation ［C］// 15th European Conference on Computer Vision （ECCV） . Munich ： Springer ， 2018 ： 179 - 196 . doi: 10.1007/978-3-030-01219-9_11 http://dx.doi.org/10.1007/978-3-030-01219-9_11

LEE H Y ， TSENG H Y ， HUANG J B ， et al . Diverse image-to-image translation via disentangled representations ［C］// 15th European Conference on Computer Vision （ECCV） . Munich ： Springer ， 2018 ： 36 - 52 . doi: 10.1007/978-3-030-01246-5_3 http://dx.doi.org/10.1007/978-3-030-01246-5_3

ZHU J Y ， PARK T ， ISOLA P ， et al . Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］// IEEE International Conference on Computer Vision （ICCV） . Venice ： IEEE ， 2017 ： 2242 - 2251 . doi: 10.1109/iccv.2017.244 http://dx.doi.org/10.1109/iccv.2017.244

MEJJATI Y A ， RICHARDT C ， TOMPKIN J ， et al . Unsupervised attention-guided image-to-image translation ［C］// Advances in Neural Information Processing Systems （NeurIPS） . Cambridge， MA ： MIT Press ， 2018 ： 3697 - 3707 .

CHEN X Y ， XU C ， YANG X K ， et al . Attention-GAN for object transfiguration in wild images ［C］// 15th European Conference on Computer Vision （ECCV） . Munich ： Springer ， 2018 ： 167 - 184 . doi: 10.1007/978-3-030-01216-8_11 http://dx.doi.org/10.1007/978-3-030-01216-8_11

YANG C ， KIM T ， WANG R Z ， et al . Show， attend， and translate： unsupervised image translation with self-regularization and attention ［J］. IEEE Transactions on Image Processing ， 2019 ， 28 （ 10 ）： 4845 - 4856 . doi: 10.1109/tip.2019.2914583 http://dx.doi.org/10.1109/tip.2019.2914583

TANG H ， XU D ， SEBE N ， et al . Attention-Guided Generative Adversarial Networks for Unsupervised Image-to-Image Translation ［C］// International Joint Conference on Neural Networks （IJCNN） . Budapest ： IEEE ， 2019 ： 1 - 8 . doi: 10.1109/ijcnn.2019.8851881 http://dx.doi.org/10.1109/ijcnn.2019.8851881

KIM J ， KIM M ， KANG H ， et al . U-GAT-IT： unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation ［C］// International Conference on Learning Representations （ICLR） . Berlin ： ICLR ， 2020 .

ZHOU B L ， KHOSLA A ， LAPEDRIZA A ， et al . Learning deep features for discriminative localization ［C］// IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Las Vegas ： IEEE ， 2016 ： 2921 - 2929 . doi: 10.1109/cvpr.2016.319 http://dx.doi.org/10.1109/cvpr.2016.319

WANG F ， JIANG M Q ， QIAN C ， et al . Residual attention network for image classification ［C］// IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Honolulu ： IEEE ， 2017 ： 6450 - 6458 . doi: 10.1109/cvpr.2017.683 http://dx.doi.org/10.1109/cvpr.2017.683

MA S ， FU J L ， CHEN C W ， et al . DA-GAN： Instance-level image translation by deep attention generative adversarial networks ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Salt Lake City ： IEEE ， 2018 ： 5657 - 5666 . doi: 10.1109/cvpr.2018.00593 http://dx.doi.org/10.1109/cvpr.2018.00593

WU W ， CAO K D ， LI C ， et al . TransGaGa： geometry-aware unsupervised image-to-image translation ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach ： IEEE ， 2019 ： 8004 - 8013 . doi: 10.1109/cvpr.2019.00820 http://dx.doi.org/10.1109/cvpr.2019.00820

BIŃKOWSKI M ， SUTHERLAND D J ， ARBEL M ， et al . Demystifying MMD GANs ［C］// International Conference on Learning Representations （ICLR） . Berlin， German ： ICLR ， 2018 ： 871 - 878 .

HEUSEL M ， RAMSAUER H ， UNTERTHINER T ， et al . GANs trained by a two time-scale update rule converge to a local nash equilibrium ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems . Long Beach ： ACM ， 2017 ： 6629 - 6640 . doi: 10.48550/arXiv.1706.08500 http://dx.doi.org/10.48550/arXiv.1706.08500

Views

268

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Text-to-image generation method based on self-supervised attention and image features fusion

Video anomaly detection based on ensemble generative adversarial networks

Video inpainting based on residual convolution attention network

DCN-Based unsupervised domain adaptive person re-identification method

Related Author

劳俊明

叶武剑

LIU Yi-jun

袁凯奕

JIN Haibo

ZHANG Haitao

LIAO Yonghui

LONG Ying-wen

Related Institution

College of Information Engineering， Guangdong University of Technology

Computer Department, Shantou Polytrchnic

School of Software, Liaoning Technical University

School of Electronic and Electrical Engineering， Shanghai University of Engineering Science

Jinjiang RichSence Electronic Technology Company Limited, Jinjiang

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰