Second-order image restoration based on gated convolution and attention transfer

PENG Yan-fei; GU Li-rui; WANG Gang

doi:10.37188/CJLCD.2022-0260

您当前的位置：

首页 >

文章列表页 >

Second-order image restoration based on gated convolution and attention transfer

Image Processing | 更新时间：2023-05-09

- Second-order image restoration based on gated convolution and attention transfer
- Chinese Journal of Liquid Crystals and Displays Vol. 38, Issue 5, Pages: 625-635(2023)
- 作者机构：
  
  1.辽宁工程技术大学电子与信息工程学院，辽宁葫芦岛 125105
  2.渤海船舶职业学院，辽宁葫芦岛 125105
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(61772249);Basic Scientific Research Project of Liaoning Provincial Colleges and Universities(LJKZ0358);Project of Double First-class Discipline Innovation Team of Liaoning Technical University(LNTU20TD-27)
- DOI：10.37188/CJLCD.2022-0260
  CLC： TP391
- Received：02 August 2022，
  
  Revised：23 August 2022，
  
  Published：05 May 2023
- 稿件说明：
移动端阅览
PENG Yan-fei, GU Li-rui, WANG Gang. Second-order image restoration based on gated convolution and attention transfer[J]. Chinese journal of liquid crystals and displays, 2023, 38(5): 625-635.
DOI：

PENG Yan-fei, GU Li-rui, WANG Gang. Second-order image restoration based on gated convolution and attention transfer[J]. Chinese journal of liquid crystals and displays, 2023, 38(5): 625-635. DOI： 10.37188/CJLCD.2022-0260.

摘要

针对现有修复算法在处理较大面积缺失时易产生伪影且与原图像语义不符的问题，提出了基于门控卷积与注意迁移的二阶图像修复方法，通过加强待修复图像内部语义对修复网络的影响来确保修复结果整体语义的一致性。首先使用多层卷积对缺损图像进行粗略修复；然后将粗略修复结果输入改进的细化修复网络，使用门控卷积和注意迁移网络对图像内部纹理细节进行修复处理，在编解码阶段引入SimAM模块作为注意力机制，强化对待修复图像中重要信息的筛选能力；最后通过谱归一化的马尔科夫判别器判别真伪同时提供对抗损失，将感知损失与多尺度结构相似性损失作为重建损失再将其与对抗损失相结合作为损失函数。与其他图像修复方法的对比实验表明，本文方法较其中最好结果在结构相似性上提升1.47%，峰值信噪比上提升5.48%。本文方法修复结果更加真实自然且在各种尺寸缺失下均实现了理想的修复效果。

Abstract

To address the issue that existing restoration algorithms are prone to artifacts when dealing with large areas missing and inconsistent with the semantics of the original image， a second-order image restoration method based on gated convolution and attention transfer is proposed. The overall semantic consistency of the repair results is ensured by strengthening the influence of the internal semantics of the image to be repaired on the repair network. The rough repair results are then input into the improved refinement repair network， and the gated convolution and attention transfer network are used to repair the image’s internal texture details. The SimAM module is introduced as the attention mechanism in the encoding and decoding processes. Finally， the spectrum normalized Markov discriminator is used to determine authenticity while also providing the confrontation loss. The perceived loss and similarity loss of multiscale structure are considered as the reconstruction loss and then combined as the loss function. The comparative experiments with other image restoration methods show that the proposed method improves the structural similarity by 1.47% and the peak signal-to-noise ratio by 5.48%compared with the best results. The repair results of this method are more realistic and natural， and the ideal repair effect is achieved under various sizes.

关键词

Keywords

references

XUE H Y ， ZHANG S M ， CAI D . Depth image inpainting： improving low rank matrix completion with low gradient regularization ［J］. IEEE Transactions on Image Processing ， 2017 ， 26 （ 9 ）： 4311 - 4320 . doi: 10.1109/tip.2017.2718183 http://dx.doi.org/10.1109/tip.2017.2718183

WEI Y W ， LIU S G . Domain-based structure-aware image inpainting ［J］. Signal， Image and Video Processing ， 2016 ， 10 （ 5 ）： 911 - 919 . doi: 10.1007/s11760-015-0840-y http://dx.doi.org/10.1007/s11760-015-0840-y

ISOGAWA M ， MIKAMI D ， IWAI D ， et al . Mask optimization for image inpainting ［J］. IEEE Access ， 2018 ， 6 ： 69728 - 69741 . doi: 10.1109/access.2018.2877401 http://dx.doi.org/10.1109/access.2018.2877401

GUO Q ， GAO S S ， ZHANG X F ， et al . Patch-based image inpainting via two-stage low rank approximation ［J］. IEEE Transactions on Visualization and Computer Graphics ， 2018 ， 24 （ 6 ）： 2023 - 2036 . doi: 10.1109/tvcg.2017.2702738 http://dx.doi.org/10.1109/tvcg.2017.2702738

ZHANG D Y ， LIANG Z S ， YANG G B ， et al . A robust forgery detection algorithm for object removal by exemplar-based image inpainting ［J］. Multimedia Tools and Applications ， 2018 ， 77 （ 10 ）： 11823 - 11842 . doi: 10.1007/s11042-017-4829-0 http://dx.doi.org/10.1007/s11042-017-4829-0

DEMIR U ， UNAL G . Patch-based image inpainting with generative adversarial networks ［J/OL］. arXiv 2018： 1803 . 07422 . doi: 10.1109/fskd.2018.8686914 http://dx.doi.org/10.1109/fskd.2018.8686914

WANG T F ， OUYANG H ， CHEN Q F . Image inpainting with external-internal learning and monochromic bottleneck ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville ： IEEE ， 2021 ： 5116 - 5125 . doi: 10.1109/cvpr46437.2021.00508 http://dx.doi.org/10.1109/cvpr46437.2021.00508

LIU H Y ， WAN Z Y ， HUANG W ， et al . PD-GAN： probabilistic diverse GAN for image inpainting ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville ： IEEE ， 2021 ： 9367 - 9376 . doi: 10.1109/cvpr46437.2021.00925 http://dx.doi.org/10.1109/cvpr46437.2021.00925

LIU H Y ， JIANG B ， SONG Y B ， et al . Rethinking image inpainting via a mutual encoder-decoder with feature equalizations ［C］// 16th European Conference on Computer Vision . Glasgow ： Springer ， 2020 ： 725 - 741 . doi: 10.1007/978-3-030-58536-5_43 http://dx.doi.org/10.1007/978-3-030-58536-5_43

石浩德，陈明举，侯劲，等 . 基于人脸结构信息引导的人脸图像修复网络［J］. 液晶与显示， 2023 ， 38 （ 2 ）： 245 - 255 ． doi: 10.37188/CJLCD.2022-0181 http://dx.doi.org/10.37188/CJLCD.2022-0181

SHI H D ， CHEN M J ， HOU J ， et al . Face image repair network based on face structure guidance ［J］. Chinese Journal of Liquid Crystals and Displays ， 2023 ， 38 （ 2 ）： 245 - 255 . （in Chinese） . doi: 10.37188/CJLCD.2022-0181 http://dx.doi.org/10.37188/CJLCD.2022-0181

LIU J Y ， YANG S ， FANG Y M ， et al . Structure-guided image inpainting using homography transformation ［J］. IEEE Transactions on Multimedia ， 2018 ， 20 （ 12 ）： 3252 - 3265 . doi: 10.1109/tmm.2018.2831636 http://dx.doi.org/10.1109/tmm.2018.2831636

JIN X ， SU Y T ， ZOU L ， et al . Sparsity-based image inpainting detection via canonical correlation analysis with low-rank constraints ［J］. IEEE Access ， 2018 ， 6 ： 49967 - 49978 . doi: 10.1109/access.2018.2866089 http://dx.doi.org/10.1109/access.2018.2866089

DUAN J M ， PAN Z K ， ZHANG B C ， et al . Fast algorithm for color texture image inpainting using the non-local CTV model ［J］. Journal of Global Optimization ， 2015 ， 62 （ 4 ）： 853 - 876 . doi: 10.1007/s10898-015-0290-7 http://dx.doi.org/10.1007/s10898-015-0290-7

FAN Q ， ZHANG L F . A novel patch matching algorithm for exemplar-based image inpainting ［J］. Multimedia Tools and Applications ， 2018 ， 77 （ 9 ）： 10807 - 10821 . doi: 10.1007/s11042-017-5077-z http://dx.doi.org/10.1007/s11042-017-5077-z

陈晓冬，艾大航，张佳琛，等 . Gabor滤波融合卷积神经网络的路面裂缝检测方法［J］. 中国光学， 2020 ， 13 （ 6 ）： 1293 - 1301 ． doi: 10.37188/co.2020-0041 http://dx.doi.org/10.37188/co.2020-0041

CHEN X D ， AI D H ， ZHANG J C ， et al . Gabor filter fusion network for pavement crack detection ［J］. Chinese Optics ， 2020 ， 13 （ 6 ）： 1293 - 1301 . （in Chinese） . doi: 10.37188/co.2020-0041 http://dx.doi.org/10.37188/co.2020-0041

LAUBE P ， GRUNWALD M ， FRANZ M O ， et al . Image inpainting for high-resolution textures using CNN texture synthesis ［M］//TAM G K L， VIDAL F. Computer Graphics & Visual Computing . Swansea ： Eurographics Association ， 2018 ： 103 - 107 .

PATHAK D ， KRAHENBUHL P ， DONAHUE J ， et al . Context encoders： feature learning by inpainting ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 2536 - 2544 . doi: 10.1109/cvpr.2016.278 http://dx.doi.org/10.1109/cvpr.2016.278

CHEN Y Z ， HU H F . An improved method for semantic image inpainting with GANs： progressive inpainting ［J］. Neural Processing Letters ， 2019 ， 49 （ 3 ）： 1355 - 1367 . doi: 10.1007/s11063-018-9877-6 http://dx.doi.org/10.1007/s11063-018-9877-6

YU J H ， LIN Z ， YANG J M ， et al . Generative image inpainting with contextual attention ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 5505 - 5514 . doi: 10.1109/cvpr.2018.00577 http://dx.doi.org/10.1109/cvpr.2018.00577

YANG L X ， ZHANG R Y ， LI L D ， et al . SimAM： a simple， parameter-free attention module for convolutional neural networks ［C］// Proceedings of the 38th International Conference on Machine Learning . PMLR ， 2021 ： 11863 - 11874 . doi: 10.1007/978-3-030-86362-3_14 http://dx.doi.org/10.1007/978-3-030-86362-3_14

WOO S ， PARK J ， LEE J Y ， et al . CBAM： convolutional block attention module ［C］// Proceedings of the 15th European Conference on Computer Vision （ECCV） . Munich ： Springer ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

JOHNSON J ， ALAHI A ， FEI-FEI L . Perceptual losses for real-time style transfer and super-resolution ［C］// Proceedings of the 14th European Conference on Computer Vision . Amsterdam ： Springer ， 2016 ： 694 - 711 . doi: 10.1007/978-3-319-46475-6_43 http://dx.doi.org/10.1007/978-3-319-46475-6_43

WANG Z ， SIMONCELLI E P ， BOVIK A C . Multiscale structural similarity for image quality assessment ［C］// The Thrity-Seventh Asilomar Conference on Signals ， Systems & Computers . Pacific Grove ： IEEE ， 2003 ， 2 ： 1398 - 1402 . doi: 10.1109/acssc.2003.1292181 http://dx.doi.org/10.1109/acssc.2003.1292181

ZHOU B L ， LAPEDRIZA A ， KHOSLA A ， et al . Places： a 10 million image database for scene recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2018 ， 40 （ 6 ）： 1452 - 1464 . doi: 10.1109/tpami.2017.2723009 http://dx.doi.org/10.1109/tpami.2017.2723009

WANG Y ， TAO X ， QI X J ， et al . Image inpainting via generative multi-column convolutional neural networks ［C］// Proceedings of the 32nd International Conference on Neural Information Processing Systems . Montréal ： Curran Associates Inc. ， 2018 ： 329 - 338 . doi: 10.1109/icsp.2018.8652324 http://dx.doi.org/10.1109/icsp.2018.8652324

YU J H ， LIN Z ， YANG J M ， et al . Free-form image inpainting with gated convolution ［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision . Seoul ： IEEE ， 2019 ： 4470 - 4479 . doi: 10.1109/iccv.2019.00457 http://dx.doi.org/10.1109/iccv.2019.00457

孙劲光，杨忠伟，黄胜 . 全局与局部属性一致的图像修复模型［J］. 中国图象图形学报， 2020 ， 25 （ 12 ）： 2505 - 2516 . doi: 10.11834/jig.190681 http://dx.doi.org/10.11834/jig.190681

SUN J G ， YANG Z W ， HUANG S . Image inpainting model with consistent global and local attributes ［J］. Journal of Image and Graphics ， 2020 ， 25 （ 12 ）： 2505 - 2516 . （in Chinese） . doi: 10.11834/jig.190681 http://dx.doi.org/10.11834/jig.190681

ZENG Y H ， FU J L ， CHAO H Y ， et al . Learning pyramid-context encoder network for high-quality image inpainting ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2019 ： 1486 - 1494 . doi: 10.1109/cvpr.2019.00158 http://dx.doi.org/10.1109/cvpr.2019.00158

李锦青，周健，底晓强 . 基于循环生成对抗网络的学习型光学图像加密方案［J］. 吉林大学学报（工学版）， 2021 ， 51 （ 3 ）： 1060 - 1066 ．

LI J Q ， ZHOU J ， DI X Q . Learning optical image encryption scheme based on CycleGAN ［J］. Journal of Jilin University （Engineering and Technology Edition）， 2021 ， 51 （ 3 ）： 1060 - 1066 . （in Chinese）

吕建威，钱锋，韩昊男，等 . 结合光源分割和线性图像深度估计的夜间图像去雾［J］. 中国光学， 2022 ， 15 （ 1 ）： 34 - 44 ． doi: 10.37188/co.2021-0114 http://dx.doi.org/10.37188/co.2021-0114

LV J W ， QIAN F ， HAN H N ， et al . Nighttime image dehazing with a new light segmentation method and a linear image depth estimation model ［J］. Chinese Optics ， 2022 ， 15 （ 1 ）： 34 - 44 . （in Chinese） . doi: 10.37188/co.2021-0114 http://dx.doi.org/10.37188/co.2021-0114

LIU Z F ， LI J Q ， DI X Q ， et al . A novel multiband remote-sensing image encryption algorithm based on dual-channel key transmission model ［J］. Security and Communication Networks ， 2021 ， 2021 ： 9698371 . doi: 10.1155/2021/9698371 http://dx.doi.org/10.1155/2021/9698371

Views

264

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Development of AOI inspection of Mura defects on TFT-LCD surface

Application of dual-wavelength fiber guided light based on OpenCV in high-precision assembly and alignment

Design and implementation of piecewise approximation bilateral filtering algorithm based on FPGA

Defect detection of small object solder joints based on improved YOLOv7

Related Author

GU Li-rui

CHEN Zekang

SHEN Yi

ZHAI Chenyang

DONG Chenyao

WANG Shuangxi

LÜ Guanhui

LIU Xiaomei

Related Institution

College of Engineering， Shantou University

Guangdong Provincial Key Laboratory of Automotive Display and Touch Technologies

College of Mechanical and Electrical Engineering， Hainan University

Key Laboratory of Chemical Lasers， Dalian Institute of Chemical Physics， Chinese Academy of Sciences

School of Microelectronics， Shanghai University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰