基于卷积稀疏编码与生成对抗网络的图像超分辨率重建

杜均森; 郭杰龙; 俞辉; 魏宪

doi:10.37188/CJLCD.2022-0406

您当前的位置：

首页 >

文章列表页 >

基于卷积稀疏编码与生成对抗网络的图像超分辨率重建

图像处理 | 更新时间：2023-10-10

- 基于卷积稀疏编码与生成对抗网络的图像超分辨率重建
- Super-resolution image reconstruction based on convolutional sparse coding and generative adversarial networks
- 液晶与显示 2023年38卷第10期页码：1423-1433
- 作者机构：
  
  1.福州大学先进制造学院，福建泉州 362000
  2.中国科学院福建物质结构研究所，福建福州 350108
  3.中国科学院海西研究院泉州装备制造研究中心，福建泉州 362000
- 作者简介：
  
  [ "杜均森（1997—），男，广东湛江人，硕士研究生，2020年于福州大学获得学士学位，主要从事稀疏编码及图像生成领域的研究。E-mail：735493942@qq.com" ]
  [ "郭杰龙（1988—），男，福建泉州人，硕士，工程师，2015年于中南民族大学获得硕士学位，主要从事机器视觉、图像处理方面的研究。E-mail：gjl@fjirsm.ac.cn" ]
- 基金信息：
  
  中国福建光电信息科学技术创新实验室（闽都创新实验室）(2021ZZ120);福建省科技计划(2021T3003);泉州市科技计划(2021C065L)
- DOI：10.37188/CJLCD.2022-0406
  中图分类号： TP391.4
- 收稿日期：2022-12-06，
  
  修回日期：2023-01-17，
  
  纸质出版日期：2023-10-05
- 稿件说明：
移动端阅览
杜均森, 郭杰龙, 俞辉, 等. 基于卷积稀疏编码与生成对抗网络的图像超分辨率重建[J]. 液晶与显示, 2023,38(10):1423-1433.

DU Jun-sen, GUO Jie-long, YU Hui, et al. Super-resolution image reconstruction based on convolutional sparse coding and generative adversarial networks[J]. Chinese journal of liquid crystals and displays, 2023, 38(10): 1423-1433.
杜均森, 郭杰龙, 俞辉, 等. 基于卷积稀疏编码与生成对抗网络的图像超分辨率重建[J]. 液晶与显示, 2023,38(10):1423-1433. DOI： 10.37188/CJLCD.2022-0406.

DU Jun-sen, GUO Jie-long, YU Hui, et al. Super-resolution image reconstruction based on convolutional sparse coding and generative adversarial networks[J]. Chinese journal of liquid crystals and displays, 2023, 38(10): 1423-1433. DOI： 10.37188/CJLCD.2022-0406.

摘要

针对现有图像超分辨率重建算法的重建图像仍存在高频信息缺失、噪点增多问题，本文提出了一种基于卷积稀疏编码与生成对抗网络的图像超分辨率重建模型。首先，利用卷积网络实现稀疏编码并获取图像稀疏表示，充分利用图像的先验信息，有效避免重建图像高频信息缺失和噪点增多的问题；在得到低分辨率图像的稀疏表示后，通过重建模块对稀疏表示进行重建得到超分辨率图像；随后，鉴别器对重建图像进行鉴别，缓解由PSNR主导的算法导致重建图像趋于平滑的问题。在不断对抗训练后，最后的重建图像具有更好的视觉效果。本文在Set5、Set14、BSD100和Urban100通用测试数据集上进行2倍和4倍的超分辨率重建实验，并与Bicubic、SRGAN、EDSR和ESRGAN对比。与ESRGAN方法相比，本文模型在4个数据集上平均PSNR提升约0.702 8 dB，平均SSIM提升约0.047，平均LPIPS提升了0.016。实验结果表明，所提出的模型具有较强的竞争力，能够恢复更多的细纹理细节且具有更好的清晰度。

Abstract

To address the problems of high-frequency information missing and increased noise in images generated by existing image super-resolution reconstruction algorithms， this paper proposes an image super-resolution reconstruction model based on convolutional sparse coding and generative adversarial networks. Firstly， convolutional networks are employed to implement sparse coding and obtain a sparse representation of the image， which makes full use of the prior information of the image and effectively avoids the problems of high-frequency information missing and increased noise in the reconstructed image. After obtaining the sparse representation of the low-resolution image， the sparse representation is reconstructed by the reconstruction module to obtain the super-resolution image. Subsequently， the discriminator discriminates the reconstructed image to alleviate the problem that the reconstructed image tends to be smooth due to the PSNR-dominated algorithm. After continuous adversarial training， the final generated super-resolution images are made to have better visual effects. The super-resolution reconstruction experiments are performed on Set5， Set14， BSD100 and Urban100 general test datasets at 2× and 4× and compared with Bicubic， SRGAN， EDSR and ESRGAN methods. Compared with ESRGAN， the average PSNR improvement is about 0.702 8 dB， the average SSIM improvement is about 0.047， and the average LPIPS improvement is 0.016 on the four datasets.Experimental results show that the proposed model is highly competitive and enables the recovery of more fine-texture details with better definition.

关键词

Keywords

references

何鹏浩，余映，徐超越 . 基于动态金字塔和子空间注意力的图像超分辨率重建网络［J］. 计算机科学， 2022 ， 49 （ S2 ）： 210900202 ． doi: 10.11896/jsjkx.210900202 http://dx.doi.org/10.11896/jsjkx.210900202

HE P H ， YU Y ， XU C Y . Image super-resolution reconstruction network based on dynamic pyramid and subspace attention ［J］. Computer Science ， 2022 ， 49 （ S2 ）： 210900202 . （in Chinese） . doi: 10.11896/jsjkx.210900202 http://dx.doi.org/10.11896/jsjkx.210900202

PARK S C ， PARK M K ， KANG M G . Super-resolution image reconstruction： a technical overview ［J］. IEEE Signal Processing Magazine ， 2003 ， 20 （ 3 ）： 21 - 36 . doi: 10.1109/msp.2003.1203207 http://dx.doi.org/10.1109/msp.2003.1203207

HINTON G E ， SALAKHUTDINOV R R . Reducing the dimensionality of data with neural networks ［J］. Science ， 2006 ， 313 （ 5786 ）： 504 - 508 . doi: 10.1126/science.1127647 http://dx.doi.org/10.1126/science.1127647

HOU H ， ANDREWS H . Cubic splines for image interpolation and digital filtering ［J］. IEEE Transactions on Acoustics， Speech， and Signal Processing ， 1978 ， 26 （ 6 ）： 508 - 517 . doi: 10.1109/tassp.1978.1163154 http://dx.doi.org/10.1109/tassp.1978.1163154

KEYS R . Cubic convolution interpolation for digital image processing ［J］. IEEE Transactions on Acoustics， Speech， and Signal Processing ， 1981 ， 29 （ 6 ）： 1153 - 1160 . doi: 10.1109/tassp.1981.1163711 http://dx.doi.org/10.1109/tassp.1981.1163711

BABACAN S D ， MOLINA R ， KATSAGGELOS A K . Parameter estimation in TV image restoration using variational distribution approximation ［J］. IEEE Transactions on Image Processing ， 2008 ， 17 （ 3 ）： 326 - 339 . doi: 10.1109/tip.2007.916051 http://dx.doi.org/10.1109/tip.2007.916051

PATTI A J ， SEZAN M I ， TEKALP A M . Robust methods for high-quality stills from interlaced video in the presence of dominant motion ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 1997 ， 7 （ 2 ）： 328 - 342 . doi: 10.1109/76.564111 http://dx.doi.org/10.1109/76.564111

IRANI M ， PELEG S . Improving resolution by image registration ［J］. CVGIP： Graphical Models and Image Processing ， 1991 ， 53 （ 3 ）： 231 - 239 . doi: 10.1016/1049-9652(91)90045-l http://dx.doi.org/10.1016/1049-9652(91)90045-l

林国军，蒋行国，杨明中，等 . 基于叠加协同表示分类的人脸识别［J］. 液晶与显示， 2020 ， 35 （ 2 ）： 161 - 166 ． doi: 10.3788/yjyxs20203502.0161 http://dx.doi.org/10.3788/yjyxs20203502.0161

LIN G J ， JIANG X G ， YANG M Z ， et al . Face recognition based on superposed collaborative representation based classification ［J］. Chinese Journal of Liquid Crystals and Displays ， 2020 ， 35 （ 2 ）： 161 - 166 . （in Chinese） . doi: 10.3788/yjyxs20203502.0161 http://dx.doi.org/10.3788/yjyxs20203502.0161

HE L ， QI H ， ZARETZKI R . Beta process joint dictionary learning for coupled feature spaces with application to single image super-resolution ［C］// Proceedings of the IEEE conference on computer vision and pattern recognition . Portland， Oregon ： IEEE ， 2013 ： 345 - 352 . doi: 10.1109/cvpr.2013.51 http://dx.doi.org/10.1109/cvpr.2013.51

谢斌，黄安，黄辉 . 本征图像分解的稀疏表示彩色图像去噪算法［J］. 液晶与显示， 2019 ， 34 （ 11 ）： 1104 - 1114 ． doi: 10.3788/yjyxs20193411.1104 http://dx.doi.org/10.3788/yjyxs20193411.1104

XIE B ， HUANG A ， HUANG H . Colorimage denoising algorithm based on intrinsic image decomposition and sparse representation ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 11 ）： 1104 - 1114 . （in Chinese） . doi: 10.3788/yjyxs20193411.1104 http://dx.doi.org/10.3788/yjyxs20193411.1104

YANG J C ， WRIGHT J ， HUANG T S ， et al . Image super-resolution via sparse representation ［J］. IEEE Transactions on Image Processing ， 2010 ， 19 （ 11 ）： 2861 - 2873 . doi: 10.1109/tip.2010.2050625 http://dx.doi.org/10.1109/tip.2010.2050625

ZEYDE R ， ELAD M ， PROTTER M . On single image scale-up using sparse-representations ［C］. 7th International Conference on Curves and Surfaces . Avignon ： Springer ， 2012 ： 711 - 730 . doi: 10.1007/978-3-642-27413-8_47 http://dx.doi.org/10.1007/978-3-642-27413-8_47

LUO Y ， ZHAO Y F ， LI J X ， et al . Computational imaging without a computer： seeing through random diffusers at the speed of light ［J］. eLight ， 2022 ， 2 （ 1 ）： 4 . doi: 10.1186/s43593-022-00012-4 http://dx.doi.org/10.1186/s43593-022-00012-4

ZUO C ， QIAN J M ， FENG S J ， et al . Deep learning in optical metrology： a review ［J］. Light： Science & Applications ， 2022 ， 11 （ 1 ）： 39 . doi: 10.1038/s41377-022-00714-x http://dx.doi.org/10.1038/s41377-022-00714-x

SITU G . Deep holography ［J］. Light： Advanced Manufacturing ， 2022 ， 3 （ 2 ）： 8 . doi: 10.37188/lam.2022.013 http://dx.doi.org/10.37188/lam.2022.013

DONG C ， LOY C C ， HE K M ， et al . Image super-resolution using deep convolutional networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2016 ， 38 （ 2 ）： 295 - 307 . doi: 10.1109/tpami.2015.2439281 http://dx.doi.org/10.1109/tpami.2015.2439281

KIM J ， LEE J K ， LEE K M . Accurate image super-resolution using very deep convolutional networks ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 1646 - 1654 . doi: 10.1109/cvpr.2016.182 http://dx.doi.org/10.1109/cvpr.2016.182

SHI W Z ， CABALLERO J ， HUSZÁR F ， et al . Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 1874 - 1883 . doi: 10.1109/cvpr.2016.207 http://dx.doi.org/10.1109/cvpr.2016.207

黄友文，唐欣，周斌 . 结合双注意力和结构相似度量的图像超分辨率重建网络［J］. 液晶与显示， 2022 ， 37 （ 3 ）： 367 - 375 ． doi: 10.37188/CJLCD.2021-0178 http://dx.doi.org/10.37188/CJLCD.2021-0178

HUANG Y W ， TANG X ， ZHOU B . Image super-resolution reconstruction network with dual attention and structural similarity measure ［J］. Chinese Journal of Liquid Crystals and Displays ， 2022 ， 37 （ 3 ）： 367 - 375 . （in Chinese） . doi: 10.37188/CJLCD.2021-0178 http://dx.doi.org/10.37188/CJLCD.2021-0178

赵圆圆，施圣贤 . 融合多尺度特征的光场图像超分辨率方法［J］. 光电工程， 2020 ， 47 （ 12 ）： 200007 ．

ZHAO Y Y ， SHI S X . Light-field image super-resolution based on multi-scale feature fusion ［J］. Opto-Electronic Engineering ， 2020 ， 47 （ 12 ）： 200007 . （in Chinese）

GREGOR K ， LECUN Y . Learning fast approximations of sparse coding ［C］// Proceedings of the 27th International Conference on International Conference on Machine Learning . Haifa ： ACM ， 2010 ： 399 - 406 .

DAUBECHIES I ， DEFRISE M ， DE MOL C . An iterative thresholding algorithm for linear inverse problems with a sparsity constraint ［J］. Communications on Pure and Applied Mathematics ， 2004 ， 57 （ 11 ）： 1413 - 1457 . doi: 10.1002/cpa.20042 http://dx.doi.org/10.1002/cpa.20042

LIU D ， WANG Z W ， WEN B H ， et al . Robust single image super-resolution via deep networks with sparse prior ［J］. IEEE Transactions on Image Processing ， 2016 ， 25 （ 7 ）： 3194 - 3207 . doi: 10.1109/tip.2016.2564643 http://dx.doi.org/10.1109/tip.2016.2564643

SRETER H ， GIRYES R . Learned convolutional sparse coding ［C］. 2018 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP） . Calgary ： IEEE ， 2018 ： 2191 - 2195 . doi: 10.1109/icassp.2018.8462313 http://dx.doi.org/10.1109/icassp.2018.8462313

CRESWELL A ， WHITE T ， DUMOULIN V ， et al . Generative adversarial networks： an overview ［J］. IEEE Signal Processing Magazine ， 2018 ， 35 （ 1 ）： 53 - 65 . doi: 10.1109/msp.2017.2765202 http://dx.doi.org/10.1109/msp.2017.2765202

LEDIG C ， THEIS L ， HUSZÁR F ， et al . Photo-realistic single image super-resolution using a generative adversarial network ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Honolulu ： IEEE ， 2017 ： 105 - 114 . doi: 10.1109/cvpr.2017.19 http://dx.doi.org/10.1109/cvpr.2017.19

WANG X T ， YU K ， WU S X ， et al . ESRGAN： enhanced super-resolution generative adversarial networks ［C］// Proceedings of the European Conference on Computer Vision . Munich ： Springer ， 2019 ： 63 - 79 . doi: 10.1007/978-3-030-11021-5_5 http://dx.doi.org/10.1007/978-3-030-11021-5_5

TOŠIĆ I ， FROSSARD P . Dictionary learning ［J］. IEEE Signal Processing Magazine ， 2011 ， 28 （ 2 ）： 27 - 38 . doi: 10.1109/msp.2010.939537 http://dx.doi.org/10.1109/msp.2010.939537

CAI T T ， WANG L . Orthogonal matching pursuit for sparse signal recovery ［J］. IEEE Transactions on Information Theory ， 2011 ， 57 （ 7 ）： 4680 - 4688 . doi: 10.1109/tit.2011.2146090 http://dx.doi.org/10.1109/tit.2011.2146090

AHARON M ， ELAD M ， BRUCKSTEIN A . K-SVD： an algorithm for designing overcomplete dictionaries for sparse representation ［J］. IEEE Transactions on Signal Processing ， 2006 ， 54 （ 11 ）： 4311 - 4322 . doi: 10.1109/tsp.2006.881199 http://dx.doi.org/10.1109/tsp.2006.881199

SIMONYAN K ， ZISSERMAN A . Very deep convolutional networks for large-scale image recognition ［C］. 3rd International Conference on Learning Representations （ICLR） . San Diego ： ICLR ， 2015 ： 1 - 14 .

ZHANG R ， ISOLA P ， EFROS A A ， et al . The unreasonable effectiveness of deep features as a perceptual metric ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 586 - 595 . doi: 10.1109/cvpr.2018.00068 http://dx.doi.org/10.1109/cvpr.2018.00068

浏览量

172

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于Inception-Residual和生成对抗网络的水下图像增强

TFT-LCD表面Mura缺陷的AOI检测研究进展

基于OpenCV的双波长光纤导引光在高精度装调上的应用