Multi-scale fusion dehazing network for high-frequency information alignment

LI Peng-ze; LI Wan; ZHANG Xuan-de

doi:10.37188/CJLCD.2022-0208

您当前的位置：

首页 >

文章列表页 >

Multi-scale fusion dehazing network for high-frequency information alignment

Image Processing | 更新时间：2023-02-10

- Multi-scale fusion dehazing network for high-frequency information alignment
- Chinese Journal of Liquid Crystals and Displays Vol. 38, Issue 2, Pages: 216-224(2023)
- 作者机构：
  
  陕西科技大学电子信息与人工智能学院，陕西西安 710021
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(61871260;62101312);General special project of scientific research plan of Shaanxi Provincial Department of Education(20JK0536);Shaan'xi University of Science & Technology Natural Science Preliminary Research Fund Project(2019BJ-11)
- DOI：10.37188/CJLCD.2022-0208
  CLC： TP391.4
- Received：21 June 2022，
  
  Revised：15 July 2022，
  
  Published：05 February 2023
- 稿件说明：
移动端阅览
LI Peng-ze, LI Wan, ZHANG Xuan-de. Multi-scale fusion dehazing network for high-frequency information alignment[J]. Chinese journal of liquid crystals and displays, 2023, 38(2): 216-224.
DOI：

LI Peng-ze, LI Wan, ZHANG Xuan-de. Multi-scale fusion dehazing network for high-frequency information alignment[J]. Chinese journal of liquid crystals and displays, 2023, 38(2): 216-224. DOI： 10.37188/CJLCD.2022-0208.

摘要

目前，在去雾领域鲜有将先验信息引入到以数据驱动的深度学习方法中的工作，且大多数基于深度学习的去雾网络通常对计算机内存和算力有较高要求。为解决上述问题，本文提出一个高频信息对齐的多尺度融合去雾网络（HFMS-Net）。网络框架采用循环模式：对于生成器，通过在轻量卷积神经网络的不同深度引入残差连接，以充分利用网络的中间层特征，实现多尺度特征融合；对于判别器，网络需对其输入进行纹理信息提取，逼近去雾图像和有雾图像之间的高频信息，使基于数据驱动的网络更具物理解释性。与PFDN相比，HFMS-Net在相同设置下以约1/5的内存占用取得了更优越的性能，PSNR和SSIM分别提升了0.71、0.016。通过大量的对比实验和消融实验证明本网络的去雾性能与现有算法相比有一定的提升，对纹理信息具有更高的保真度。

Abstract

At present， there is little work in the field of dehazing that introduces prior information into data-driven deep learning methods， and most dehazing networks based on deep learning usually have high requirements on computer memory and computing power. To solve the above problems， this paper proposes a multi-scale fusion dehazing network for high-frequency information alignment （HFMS-Net）. The network framework adoptes a cycyle pattern： for the generator， residual connections are introduced at different depths of the lightweight convolutional neural network to make full use of the intermediate layer features of the network to achieve multi-scale feature fusion； for the discriminator， the network needs to extract texture information on its input to approximate the high-frequency information between the dehazed image and the hazy image， making the data-driven network more physically interpretable. Compared with PFDN， HFMS-Net achieves superior performance with about 1/5 of the memory footprint under the same setting， and the PSNR and SSIM are improved by 0.71 and 0.016， respectively. Through a large number of comparative experiments and ablation experiments， it is proved that the dehazing performance of this network has a certain improvement compared with the existing algorithms， and higher fidelity to texture information.

关键词

Keywords

references

刘涛，钱锋，张葆 . 遥感图像的MAP超分辨重建［J］. 液晶与显示， 2018 ， 33 （ 10 ）： 884 - 892 . doi: 10.3788/yjyxs20183310.0884 http://dx.doi.org/10.3788/yjyxs20183310.0884

LIU T ， QIAN F ， ZHANG B . MAP super-resolution reconstruction of remote sensing image ［J］. Chinese Journal of Liquid Crystals and Displays ， 2018 ， 33 （ 10 ）： 884 - 892 . （in Chinese） . doi: 10.3788/yjyxs20183310.0884 http://dx.doi.org/10.3788/yjyxs20183310.0884

张瑞琰，姜秀杰，安军社，等 . 面向光学遥感目标的全局上下文检测模型设计［J］. 中国光学， 2020 ， 13 （ 6 ）： 1302 - 1313 . doi: 10.37188/CO.2020-0057 http://dx.doi.org/10.37188/CO.2020-0057

ZHANG R Y ， JIANG X J ， AN J S ， et al . Design of global-contextual detection model for optical remote sensing targets ［J］. Chinese Optics ， 2020 ， 13 （ 6 ）： 1302 - 1313 . （in Chinese） . doi: 10.37188/CO.2020-0057 http://dx.doi.org/10.37188/CO.2020-0057

周文舟，范晨，胡小平，等 . 多尺度奇异值分解的偏振图像融合去雾算法与实验［J］. 中国光学， 2021 ， 14 （ 2 ）： 298 - 306 . doi: 10.37188/CO.2020-0099 http://dx.doi.org/10.37188/CO.2020-0099

ZHOU W Z ， FAN C ， HU X P ， et al . Multi-scale singular value decomposition polarization image fusion defogging algorithm and experiment ［J］. Chinese Optics ， 2021 ， 14 （ 2 ）： 298 - 306 . （in Chinese） . doi: 10.37188/CO.2020-0099 http://dx.doi.org/10.37188/CO.2020-0099

郭璠，蔡自兴，谢斌，等 . 图像去雾技术研究综述与展望［J］. 计算机应用， 2010 ， 30 （ 9 ）： 2417 - 2421 . doi: 10.3724/sp.j.1087.2010.02417 http://dx.doi.org/10.3724/sp.j.1087.2010.02417

GUO F ， CAI Z X ， XIE B ， et al . Review and prospect of image dehazing techniques ［J］. Journal of Computer Applications ， 2010 ， 30 （ 9 ）： 2417 - 2421 . （in Chinese） . doi: 10.3724/sp.j.1087.2010.02417 http://dx.doi.org/10.3724/sp.j.1087.2010.02417

禹晶，徐东彬，廖庆敏 . 图像去雾技术研究进展［J］. 中国图象图形学报， 2011 ， 16 （ 9 ）： 1561 - 1576 . doi: 10.11834/jig.100833 http://dx.doi.org/10.11834/jig.100833

YU J ， XU D B ， LIAO Q M . Image defogging： a survey ［J］. Journal of Image and Graphics ， 2011 ， 16 （ 9 ）： 1561 - 1576 . （in Chinese） . doi: 10.11834/jig.100833 http://dx.doi.org/10.11834/jig.100833

李婉，毕竞舸，张选德，等 . 基于非局部和先验约束的多尺度图像去雾网络研究［J］. 陕西科技大学学报， 2022 ， 40 （ 3 ）： 172 - 178，184 . doi: 10.3969/j.issn.1000-5811.2022.03.025 http://dx.doi.org/10.3969/j.issn.1000-5811.2022.03.025

LI W ， BI J G ， ZHANG X D ， et al . Study on multi-scale image dehazing network based on non-local and prior constraints ［J］. Journal of Shaanxi University of Science & Technology ， 2022 ， 40 （ 3 ）： 172 - 178， 184 . （in Chinese） . doi: 10.3969/j.issn.1000-5811.2022.03.025 http://dx.doi.org/10.3969/j.issn.1000-5811.2022.03.025

HE K M ， SUN J ， TANG X O . Single image haze removal using dark channel prior ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2011 ， 33 （ 12 ）： 2341 - 2353 . doi: 10.1109/tpami.2010.168 http://dx.doi.org/10.1109/tpami.2010.168

BERMAN D ， TREIBITZ T ， AVIDAN S . Non-local image dehazing ［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 1674 - 1682 . doi: 10.1109/cvpr.2016.185 http://dx.doi.org/10.1109/cvpr.2016.185

FATTAL R . Dehazing using color-lines ［J］. ACM Transactions on Graphics ， 2014 ， 34 （ 1 ）： 13 . doi: 10.1145/2651362 http://dx.doi.org/10.1145/2651362

ZHU Q S ， MAI J M ， SHAO L . A fast single image haze removal algorithm using color attenuation prior ［J］. IEEE Transactions on Image Processing ， 2015 ， 24 （ 11 ）： 3522 - 3533 . doi: 10.1109/tip.2015.2446191 http://dx.doi.org/10.1109/tip.2015.2446191

REN W Q ， LIU S ， ZHANG H ， et al . Single image dehazing via multi-scale convolutional neural networks ［C］// Proceedings of the 14th European Conference on Computer Vision . Amsterdam ： Springer ， 2016 ： 154 - 169 . doi: 10.1007/978-3-319-46475-6_10 http://dx.doi.org/10.1007/978-3-319-46475-6_10

CAI B L ， XU X M ， JIA K ， et al . DehazeNet： an end-to-end system for single image haze removal ［J］. IEEE Transactions on Image Processing ， 2016 ， 25 （ 11 ）： 5187 - 5198 . doi: 10.1109/tip.2016.2598681 http://dx.doi.org/10.1109/tip.2016.2598681

LI B Y ， PENG X L ， WANG Z Y ， et al . AOD-Net： all-in-one dehazing network ［C］// 2017 IEEE International Conference on Computer Vision . Venice ： IEEE ， 2017 ： 4780 - 4788 . doi: 10.1109/iccv.2017.511 http://dx.doi.org/10.1109/iccv.2017.511

LI R D ， PAN J S ， LI Z C ， et al . Single image dehazing via conditional generative adversarial network ［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 8202 - 8211 . doi: 10.1109/cvpr.2018.00856 http://dx.doi.org/10.1109/cvpr.2018.00856

REN W Q ， MA L ， ZHANG J W ， et al . Gated fusion network for single image dehazing ［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 3253 - 3261 . doi: 10.1109/cvpr.2018.00343 http://dx.doi.org/10.1109/cvpr.2018.00343

QU Y Y ， CHEN Y Z ， HUANG J Y ， et al . Enhanced Pix2pix dehazing network ［C］// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2019 ： 8152 - 8160 . doi: 10.1109/cvpr.2019.00835 http://dx.doi.org/10.1109/cvpr.2019.00835

DONG H ， PAN J S ， XIANG L ， et al . Multi-scale boosted dehazing network with dense feature fusion ［C］// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle ： IEEE ， 2020 ： 2154 - 2164 . doi: 10.1109/cvpr42600.2020.00223 http://dx.doi.org/10.1109/cvpr42600.2020.00223

TAN R T . Visibility in bad weather from a single image ［C］// 2008 IEEE Conference on Computer Vision and Pattern Recognition . Anchorage ： IEEE ， 2008 ： 1 - 8 . doi: 10.1109/cvpr.2008.4587643 http://dx.doi.org/10.1109/cvpr.2008.4587643

ZHU J Y ， PARK T ， ISOLA P ， et al . Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］// 2017 IEEE International Conference on Computer Vision . Venice ： IEEE ， 2017 ： 2242 - 2251 . doi: 10.1109/iccv.2017.244 http://dx.doi.org/10.1109/iccv.2017.244

CHEN W T ， DING J J ， KUO S Y . PMS-Net： robust haze removal based on patch map for single images ［C］// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2019 ： 11673 - 11681 . doi: 10.1109/cvpr.2019.01195 http://dx.doi.org/10.1109/cvpr.2019.01195

DONG J X ， PAN J S . Physics-based feature dehazing networks ［C］// Proceedings of the 16th European Conference on Computer Vision . Glasgow ： Springer ， 2020 ： 188 - 204 . doi: 10.1007/978-3-030-58577-8_12 http://dx.doi.org/10.1007/978-3-030-58577-8_12

ZHAO X . Single image dehazing using bounded channel difference prior ［C］// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville ： IEEE ， 2021 ： 727 - 735 . doi: 10.1109/cvprw53098.2021.00082 http://dx.doi.org/10.1109/cvprw53098.2021.00082

LI B Y ， REN W Q ， FU D P ， et al . Benchmarking single-image dehazing and beyond ［J］. IEEE Transactions on Image Processing ， 2019 ， 28 （ 1 ）： 492 - 505 . doi: 10.1109/tip.2018.2867951 http://dx.doi.org/10.1109/tip.2018.2867951

Views

125

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Traffic sign recognition based on multi-scale feature fusion and extreme learning machine

Related Author

LI Wan

ZHANG Xuan-de

Yong-jie MA

Shi-sheng CHENG

Yun-ting MA

Min CHEN

Related Institution

School of Physics and Electronic Engineering, Northwest Normal University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰