Super-resolution image reconstruction based on convolutional sparse coding and generative adversarial networks

DU Jun-sen; GUO Jie-long; YU Hui; WEI Xian

doi:10.37188/CJLCD.2022-0406

您当前的位置：

首页 >

文章列表页 >

Super-resolution image reconstruction based on convolutional sparse coding and generative adversarial networks

Image Processing | 更新时间：2023-10-10

- Super-resolution image reconstruction based on convolutional sparse coding and generative adversarial networks
- Chinese Journal of Liquid Crystals and Displays Vol. 38, Issue 10, Pages: 1423-1433(2023)
- 作者机构：
  
  1.福州大学先进制造学院，福建泉州 362000
  2.中国科学院福建物质结构研究所，福建福州 350108
  3.中国科学院海西研究院泉州装备制造研究中心，福建泉州 362000
- 作者简介：
- 基金信息：
  
  Fujian Science & Technology Innovation Laboratory for Optoelectronic Information of China(2021ZZ120);Fujian Science and Technology Plan(2021T3003);Quanzhou Science and Technology Plan(2021C065L)
- DOI：10.37188/CJLCD.2022-0406
  CLC： TP391.4
- Received：06 December 2022，
  
  Revised：17 January 2023，
  
  Published：05 October 2023
- 稿件说明：
移动端阅览
DU Jun-sen, GUO Jie-long, YU Hui, et al. Super-resolution image reconstruction based on convolutional sparse coding and generative adversarial networks[J]. Chinese journal of liquid crystals and displays, 2023, 38(10): 1423-1433.
DOI：

DU Jun-sen, GUO Jie-long, YU Hui, et al. Super-resolution image reconstruction based on convolutional sparse coding and generative adversarial networks[J]. Chinese journal of liquid crystals and displays, 2023, 38(10): 1423-1433. DOI： 10.37188/CJLCD.2022-0406.

摘要

针对现有图像超分辨率重建算法的重建图像仍存在高频信息缺失、噪点增多问题，本文提出了一种基于卷积稀疏编码与生成对抗网络的图像超分辨率重建模型。首先，利用卷积网络实现稀疏编码并获取图像稀疏表示，充分利用图像的先验信息，有效避免重建图像高频信息缺失和噪点增多的问题；在得到低分辨率图像的稀疏表示后，通过重建模块对稀疏表示进行重建得到超分辨率图像；随后，鉴别器对重建图像进行鉴别，缓解由PSNR主导的算法导致重建图像趋于平滑的问题。在不断对抗训练后，最后的重建图像具有更好的视觉效果。本文在Set5、Set14、BSD100和Urban100通用测试数据集上进行2倍和4倍的超分辨率重建实验，并与Bicubic、SRGAN、EDSR和ESRGAN对比。与ESRGAN方法相比，本文模型在4个数据集上平均PSNR提升约0.702 8 dB，平均SSIM提升约0.047，平均LPIPS提升了0.016。实验结果表明，所提出的模型具有较强的竞争力，能够恢复更多的细纹理细节且具有更好的清晰度。

Abstract

To address the problems of high-frequency information missing and increased noise in images generated by existing image super-resolution reconstruction algorithms， this paper proposes an image super-resolution reconstruction model based on convolutional sparse coding and generative adversarial networks. Firstly， convolutional networks are employed to implement sparse coding and obtain a sparse representation of the image， which makes full use of the prior information of the image and effectively avoids the problems of high-frequency information missing and increased noise in the reconstructed image. After obtaining the sparse representation of the low-resolution image， the sparse representation is reconstructed by the reconstruction module to obtain the super-resolution image. Subsequently， the discriminator discriminates the reconstructed image to alleviate the problem that the reconstructed image tends to be smooth due to the PSNR-dominated algorithm. After continuous adversarial training， the final generated super-resolution images are made to have better visual effects. The super-resolution reconstruction experiments are performed on Set5， Set14， BSD100 and Urban100 general test datasets at 2× and 4× and compared with Bicubic， SRGAN， EDSR and ESRGAN methods. Compared with ESRGAN， the average PSNR improvement is about 0.702 8 dB， the average SSIM improvement is about 0.047， and the average LPIPS improvement is 0.016 on the four datasets.Experimental results show that the proposed model is highly competitive and enables the recovery of more fine-texture details with better definition.

关键词

Keywords

references

何鹏浩，余映，徐超越 . 基于动态金字塔和子空间注意力的图像超分辨率重建网络［J］. 计算机科学， 2022 ， 49 （ S2 ）： 210900202 ． doi: 10.11896/jsjkx.210900202 http://dx.doi.org/10.11896/jsjkx.210900202

HE P H ， YU Y ， XU C Y . Image super-resolution reconstruction network based on dynamic pyramid and subspace attention ［J］. Computer Science ， 2022 ， 49 （ S2 ）： 210900202 . （in Chinese） . doi: 10.11896/jsjkx.210900202 http://dx.doi.org/10.11896/jsjkx.210900202

PARK S C ， PARK M K ， KANG M G . Super-resolution image reconstruction： a technical overview ［J］. IEEE Signal Processing Magazine ， 2003 ， 20 （ 3 ）： 21 - 36 . doi: 10.1109/msp.2003.1203207 http://dx.doi.org/10.1109/msp.2003.1203207

HINTON G E ， SALAKHUTDINOV R R . Reducing the dimensionality of data with neural networks ［J］. Science ， 2006 ， 313 （ 5786 ）： 504 - 508 . doi: 10.1126/science.1127647 http://dx.doi.org/10.1126/science.1127647

HOU H ， ANDREWS H . Cubic splines for image interpolation and digital filtering ［J］. IEEE Transactions on Acoustics， Speech， and Signal Processing ， 1978 ， 26 （ 6 ）： 508 - 517 . doi: 10.1109/tassp.1978.1163154 http://dx.doi.org/10.1109/tassp.1978.1163154

KEYS R . Cubic convolution interpolation for digital image processing ［J］. IEEE Transactions on Acoustics， Speech， and Signal Processing ， 1981 ， 29 （ 6 ）： 1153 - 1160 . doi: 10.1109/tassp.1981.1163711 http://dx.doi.org/10.1109/tassp.1981.1163711

BABACAN S D ， MOLINA R ， KATSAGGELOS A K . Parameter estimation in TV image restoration using variational distribution approximation ［J］. IEEE Transactions on Image Processing ， 2008 ， 17 （ 3 ）： 326 - 339 . doi: 10.1109/tip.2007.916051 http://dx.doi.org/10.1109/tip.2007.916051

PATTI A J ， SEZAN M I ， TEKALP A M . Robust methods for high-quality stills from interlaced video in the presence of dominant motion ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 1997 ， 7 （ 2 ）： 328 - 342 . doi: 10.1109/76.564111 http://dx.doi.org/10.1109/76.564111

IRANI M ， PELEG S . Improving resolution by image registration ［J］. CVGIP： Graphical Models and Image Processing ， 1991 ， 53 （ 3 ）： 231 - 239 . doi: 10.1016/1049-9652(91)90045-l http://dx.doi.org/10.1016/1049-9652(91)90045-l

林国军，蒋行国，杨明中，等 . 基于叠加协同表示分类的人脸识别［J］. 液晶与显示， 2020 ， 35 （ 2 ）： 161 - 166 ． doi: 10.3788/yjyxs20203502.0161 http://dx.doi.org/10.3788/yjyxs20203502.0161

LIN G J ， JIANG X G ， YANG M Z ， et al . Face recognition based on superposed collaborative representation based classification ［J］. Chinese Journal of Liquid Crystals and Displays ， 2020 ， 35 （ 2 ）： 161 - 166 . （in Chinese） . doi: 10.3788/yjyxs20203502.0161 http://dx.doi.org/10.3788/yjyxs20203502.0161

HE L ， QI H ， ZARETZKI R . Beta process joint dictionary learning for coupled feature spaces with application to single image super-resolution ［C］// Proceedings of the IEEE conference on computer vision and pattern recognition . Portland， Oregon ： IEEE ， 2013 ： 345 - 352 . doi: 10.1109/cvpr.2013.51 http://dx.doi.org/10.1109/cvpr.2013.51

谢斌，黄安，黄辉 . 本征图像分解的稀疏表示彩色图像去噪算法［J］. 液晶与显示， 2019 ， 34 （ 11 ）： 1104 - 1114 ． doi: 10.3788/yjyxs20193411.1104 http://dx.doi.org/10.3788/yjyxs20193411.1104

XIE B ， HUANG A ， HUANG H . Colorimage denoising algorithm based on intrinsic image decomposition and sparse representation ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 11 ）： 1104 - 1114 . （in Chinese） . doi: 10.3788/yjyxs20193411.1104 http://dx.doi.org/10.3788/yjyxs20193411.1104

YANG J C ， WRIGHT J ， HUANG T S ， et al . Image super-resolution via sparse representation ［J］. IEEE Transactions on Image Processing ， 2010 ， 19 （ 11 ）： 2861 - 2873 . doi: 10.1109/tip.2010.2050625 http://dx.doi.org/10.1109/tip.2010.2050625

ZEYDE R ， ELAD M ， PROTTER M . On single image scale-up using sparse-representations ［C］. 7th International Conference on Curves and Surfaces . Avignon ： Springer ， 2012 ： 711 - 730 . doi: 10.1007/978-3-642-27413-8_47 http://dx.doi.org/10.1007/978-3-642-27413-8_47

LUO Y ， ZHAO Y F ， LI J X ， et al . Computational imaging without a computer： seeing through random diffusers at the speed of light ［J］. eLight ， 2022 ， 2 （ 1 ）： 4 . doi: 10.1186/s43593-022-00012-4 http://dx.doi.org/10.1186/s43593-022-00012-4

ZUO C ， QIAN J M ， FENG S J ， et al . Deep learning in optical metrology： a review ［J］. Light： Science & Applications ， 2022 ， 11 （ 1 ）： 39 . doi: 10.1038/s41377-022-00714-x http://dx.doi.org/10.1038/s41377-022-00714-x

SITU G . Deep holography ［J］. Light： Advanced Manufacturing ， 2022 ， 3 （ 2 ）： 8 . doi: 10.37188/lam.2022.013 http://dx.doi.org/10.37188/lam.2022.013

DONG C ， LOY C C ， HE K M ， et al . Image super-resolution using deep convolutional networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2016 ， 38 （ 2 ）： 295 - 307 . doi: 10.1109/tpami.2015.2439281 http://dx.doi.org/10.1109/tpami.2015.2439281

KIM J ， LEE J K ， LEE K M . Accurate image super-resolution using very deep convolutional networks ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 1646 - 1654 . doi: 10.1109/cvpr.2016.182 http://dx.doi.org/10.1109/cvpr.2016.182

SHI W Z ， CABALLERO J ， HUSZÁR F ， et al . Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 1874 - 1883 . doi: 10.1109/cvpr.2016.207 http://dx.doi.org/10.1109/cvpr.2016.207

黄友文，唐欣，周斌 . 结合双注意力和结构相似度量的图像超分辨率重建网络［J］. 液晶与显示， 2022 ， 37 （ 3 ）： 367 - 375 ． doi: 10.37188/CJLCD.2021-0178 http://dx.doi.org/10.37188/CJLCD.2021-0178

HUANG Y W ， TANG X ， ZHOU B . Image super-resolution reconstruction network with dual attention and structural similarity measure ［J］. Chinese Journal of Liquid Crystals and Displays ， 2022 ， 37 （ 3 ）： 367 - 375 . （in Chinese） . doi: 10.37188/CJLCD.2021-0178 http://dx.doi.org/10.37188/CJLCD.2021-0178

赵圆圆，施圣贤 . 融合多尺度特征的光场图像超分辨率方法［J］. 光电工程， 2020 ， 47 （ 12 ）： 200007 ．

ZHAO Y Y ， SHI S X . Light-field image super-resolution based on multi-scale feature fusion ［J］. Opto-Electronic Engineering ， 2020 ， 47 （ 12 ）： 200007 . （in Chinese）

GREGOR K ， LECUN Y . Learning fast approximations of sparse coding ［C］// Proceedings of the 27th International Conference on International Conference on Machine Learning . Haifa ： ACM ， 2010 ： 399 - 406 .

DAUBECHIES I ， DEFRISE M ， DE MOL C . An iterative thresholding algorithm for linear inverse problems with a sparsity constraint ［J］. Communications on Pure and Applied Mathematics ， 2004 ， 57 （ 11 ）： 1413 - 1457 . doi: 10.1002/cpa.20042 http://dx.doi.org/10.1002/cpa.20042

LIU D ， WANG Z W ， WEN B H ， et al . Robust single image super-resolution via deep networks with sparse prior ［J］. IEEE Transactions on Image Processing ， 2016 ， 25 （ 7 ）： 3194 - 3207 . doi: 10.1109/tip.2016.2564643 http://dx.doi.org/10.1109/tip.2016.2564643

SRETER H ， GIRYES R . Learned convolutional sparse coding ［C］. 2018 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP） . Calgary ： IEEE ， 2018 ： 2191 - 2195 . doi: 10.1109/icassp.2018.8462313 http://dx.doi.org/10.1109/icassp.2018.8462313

CRESWELL A ， WHITE T ， DUMOULIN V ， et al . Generative adversarial networks： an overview ［J］. IEEE Signal Processing Magazine ， 2018 ， 35 （ 1 ）： 53 - 65 . doi: 10.1109/msp.2017.2765202 http://dx.doi.org/10.1109/msp.2017.2765202

LEDIG C ， THEIS L ， HUSZÁR F ， et al . Photo-realistic single image super-resolution using a generative adversarial network ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Honolulu ： IEEE ， 2017 ： 105 - 114 . doi: 10.1109/cvpr.2017.19 http://dx.doi.org/10.1109/cvpr.2017.19

WANG X T ， YU K ， WU S X ， et al . ESRGAN： enhanced super-resolution generative adversarial networks ［C］// Proceedings of the European Conference on Computer Vision . Munich ： Springer ， 2019 ： 63 - 79 . doi: 10.1007/978-3-030-11021-5_5 http://dx.doi.org/10.1007/978-3-030-11021-5_5

TOŠIĆ I ， FROSSARD P . Dictionary learning ［J］. IEEE Signal Processing Magazine ， 2011 ， 28 （ 2 ）： 27 - 38 . doi: 10.1109/msp.2010.939537 http://dx.doi.org/10.1109/msp.2010.939537

CAI T T ， WANG L . Orthogonal matching pursuit for sparse signal recovery ［J］. IEEE Transactions on Information Theory ， 2011 ， 57 （ 7 ）： 4680 - 4688 . doi: 10.1109/tit.2011.2146090 http://dx.doi.org/10.1109/tit.2011.2146090

AHARON M ， ELAD M ， BRUCKSTEIN A . K-SVD： an algorithm for designing overcomplete dictionaries for sparse representation ［J］. IEEE Transactions on Signal Processing ， 2006 ， 54 （ 11 ）： 4311 - 4322 . doi: 10.1109/tsp.2006.881199 http://dx.doi.org/10.1109/tsp.2006.881199

SIMONYAN K ， ZISSERMAN A . Very deep convolutional networks for large-scale image recognition ［C］. 3rd International Conference on Learning Representations （ICLR） . San Diego ： ICLR ， 2015 ： 1 - 14 .

ZHANG R ， ISOLA P ， EFROS A A ， et al . The unreasonable effectiveness of deep features as a perceptual metric ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 586 - 595 . doi: 10.1109/cvpr.2018.00068 http://dx.doi.org/10.1109/cvpr.2018.00068

Views

172

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Underwater image enhancement based on Inception-Residual and generative adversarial network

Development of AOI inspection of Mura defects on TFT-LCD surface

Application of dual-wavelength fiber guided light based on OpenCV in high-precision assembly and alignment

Related Author

DU Jun-sen

YU Hui

WEI Xian

De-xing WANG

Yue WANG

Hong-chun YUAN

De-xing WANG

Yue WANG

Related Institution

School of Advanced Manufacturing， Fuzhou University， Quanzhou Fujian China

Quanzhou Institute of Equipment Manufacturing Haixi Institutes， Chinese Academy of Sciences

College of Information Technology, Shanghai Ocean University

College of Information Technology， Shanghai Ocean University

College of Engineering， Shantou University

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰