结合特征融合与物理校正的水下图像增强方法

王德兴; 杨钰锐; 袁红春; 高凯

doi:10.37188/CJLCD.2022-0382

您当前的位置：

首页 >

文章列表页 >

结合特征融合与物理校正的水下图像增强方法

图像增强 | 更新时间：2023-11-03

- 结合特征融合与物理校正的水下图像增强方法
- Underwater image enhancement method combining feature fusion and physical correction
- 液晶与显示 2023年38卷第11期页码：1554-1566
- 作者机构：
  
  上海海洋大学信息学院，上海 201306
- 作者简介：
  
  [ "王德兴（1968—），男，河北保定人，博士，副教授，2007年于合肥工业大学获得博士学位，主要从事人工智能、模式识别和数据挖掘方面的研究。E-mail：dxwang@shou.edu.cn" ]
  [ "袁红春（1971—），男，江苏海门人，博士，教授，2002年于中国科学技术大学获得博士学位，主要从事智能信息处理和人工智能方面的研究。E-mail：hcyuan@shou.edu.cn" ]
- 基金信息：
  
  国家自然科学基金(41776142)
- DOI：10.37188/CJLCD.2022-0382
  中图分类号： TP391.4
- 收稿日期：2022-12-19，
  
  修回日期：2023-02-03，
  
  纸质出版日期：2023-11-05
- 稿件说明：
移动端阅览
王德兴, 杨钰锐, 袁红春, 等. 结合特征融合与物理校正的水下图像增强方法[J]. 液晶与显示, 2023,38(11):1554-1566.

WANG De-xing, YANG Yu-rui, YUAN Hong-chun, et al. Underwater image enhancement method combining feature fusion and physical correction[J]. Chinese journal of liquid crystals and displays, 2023, 38(11): 1554-1566.
王德兴, 杨钰锐, 袁红春, 等. 结合特征融合与物理校正的水下图像增强方法[J]. 液晶与显示, 2023,38(11):1554-1566. DOI： 10.37188/CJLCD.2022-0382.

WANG De-xing, YANG Yu-rui, YUAN Hong-chun, et al. Underwater image enhancement method combining feature fusion and physical correction[J]. Chinese journal of liquid crystals and displays, 2023, 38(11): 1554-1566. DOI： 10.37188/CJLCD.2022-0382.

摘要

为解决由于光的吸收和散射现象导致拍摄的水下图像呈现出严重色偏，对比度低等质量问题，本文提出轻量级特征融合网络和多颜色模型校正相结合的水下图像增强方法。首先使用自构建块代替卷积层的编码器和解码器结构的特征融合网络对水下图像色偏进行校正，网络中改进的特征融合模块降低全连接层对图像空间结构的破坏，保护空间特征，减少模块的参数量。同时改进的注意力模块并行池化计算提取特征图纹理细节且保护背景信息。然后使用多颜色模型校正模块根据像素之间关系进行校正，进一步减少色偏，提高对比度和亮度。实验结果表明，与最新的图像增强方法对比，在有参考图像数据集上，本文方法的NRMSE、PSNR和SSIM评价指标的平均值分别比第二名提升了9.3%、3.7%和2.3%。在无参考图像数据集上，本文方法的UCIQE、IE和NIQE评价指标的平均值比第二名提升了6.0%、2.9%和4.5%。综合主观感知和客观评价，本文方法能校正水下图像色偏，提升对比度和亮度，提高图像质量。

Abstract

In order to solve the serious color bias and low contrast quality problems caused by light absorption and scattering， an underwater image enhancement method combining lightweight feature fusion network and multi-color model correction is proposed in this paper. Firstly， the feature fusion network of the encoder and decoder structure of the convolution layer is used to correct the color deviation of the underwater image. The improved feature fusion module in the network reduces the damage of the fully connected layer to the image spatial structure， protects the spatial features， and reduces the number of parameters of the module. At the same time， the improved attention module parallelizes the pooling operation to extract texture details and protect background information. Then， the multi-color model correction module is used to correct according to the relationship between pixels to further reduce the color deviation and improve the contrast and brightness.The experimental results show that compared with the latest image enhancement methods， the average value of NRMSE， PSNR and SSIM on the reference image dataset is improved by 9.30%， 3.70% and 2.30% than the second place of comparison algorithms， respectively. The average value of UCIQE， IE and NIQE on the non-reference image dataset is 6%， 2.9% and 4.5% higher than the second place of comparison algorithms. Combining subjective perception and objective evaluation， this method can correct color deviation of underwater images， improve contrast and brightness， and improve image quality.

关键词

Keywords

references

SHEININ M ， SCHECHNER Y Y . The next best underwater view ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 3764 - 3773 . doi: 10.1109/cvpr.2016.409 http://dx.doi.org/10.1109/cvpr.2016.409

FU X Y ， CAO X Y . Underwater image enhancement with global-local networks and compressed-histogram equalization ［J］. Signal Processing： Image Communication ， 2020 ， 86 ： 115892 . doi: 10.1016/j.image.2020.115892 http://dx.doi.org/10.1016/j.image.2020.115892

GORDON H R . Theoretical aspects of hydrologic optics ［J］. Limnology and Oceanography ， 1989 ， 34 （ 8 ）： 1389 - 1409 . doi: 10.4319/lo.1989.34.8.1389 http://dx.doi.org/10.4319/lo.1989.34.8.1389

HUO F S ， LI B H ， ZHU X G . Efficient wavelet boost learning-based multi-stage progressive refinement network for underwater image enhancement ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision Workshops . Montreal ： IEEE ， 2021 ： 1944 - 1952 . doi: 10.1109/iccvw54120.2021.00221 http://dx.doi.org/10.1109/iccvw54120.2021.00221

GUO Y C ， LI H Y ， ZHUANG P X . Underwater image enhancement using a multiscale dense generative adversarial network ［J］. IEEE Journal of Oceanic Engineering ， 2020 ， 45 （ 3 ）： 862 - 870 . doi: 10.1109/joe.2019.2911447 http://dx.doi.org/10.1109/joe.2019.2911447

LIU R C ， GANG H . A novel dehazing algorithm based on Retinex principle ［C］. 2021 International Conference on Machine Learning and Intelligent Systems Engineering （MLISE）. Chongqing ： IEEE ， 2021 ： 349 - 356 . doi: 10.1109/mlise54096.2021.00073 http://dx.doi.org/10.1109/mlise54096.2021.00073

ISRAËL H ， KASTEN F . Koschmieders theorie der horizontalen sichtweite ［M］//ISRAËL H， KASTEN F. Die Sichtweite im Nebel und die Möglichkeiten Ihrer Künstlichen Beeinflussung . Wiesbaden ： VS Verlag für Sozialwissenschaften ， 1959 ： 7 - 10 . doi: 10.1007/978-3-663-04661-5_2 http://dx.doi.org/10.1007/978-3-663-04661-5_2

XU T ， ZHOU J Y ， GUO W T ， et al . Fine reconstruction of underwater images for environmental feature fusion ［J］. International Journal of Advanced Robotic Systems ， 2021 ， 18 （ 5 ）： 172988142110396 . doi: 10.1177/17298814211039687 http://dx.doi.org/10.1177/17298814211039687

AKKAYNAK D ， TREIBITZ T . A revised underwater image formation model ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 6723 - 6732 . doi: 10.1109/cvpr.2018.00703 http://dx.doi.org/10.1109/cvpr.2018.00703

HE K M ， SUN J ， TANG X O . Single image haze removal using dark channel prior ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2011 ， 33 （ 12 ）： 2341 - 2353 . doi: 10.1109/tpami.2010.168 http://dx.doi.org/10.1109/tpami.2010.168

YANG H Y ， CHEN P Y ， HUANG C C ， et al . Low complexity underwater image enhancement based on dark channel prior ［C］. 2011 Second International Conference on Innovations in Bio-inspired Computing and Applications. Shenzhen ： IEEE ， 2011 ： 17 - 20 . doi: 10.1109/ibica.2011.9 http://dx.doi.org/10.1109/ibica.2011.9

DREWS JR P ， NASCIMENTO E D ， MORAES F ， et al . Transmission estimation in underwater single images ［C］// Proceedings of the 2013 IEEE International Conference on Computer Vision Workshops . Sydney ： IEEE ， 2013 ： 825 - 830 . doi: 10.1109/iccvw.2013.113 http://dx.doi.org/10.1109/iccvw.2013.113

XU S ， ZHANG J ， BO L L ， et al . Retinex based underwater image enhancement using attenuation compensated color balance and gamma correction ［C］// Proceedings of the SPIE 11884 ， 2021 . Fukuoka ： SPIE ， 2021 ： 321 - 334 . doi: 10.1117/12.2605023 http://dx.doi.org/10.1117/12.2605023

ZHOU J C ， YAO J ， ZHANG W S ， et al . Multi-scale retinex-based adaptive gray-scale transformation method for underwater image enhancement ［J］. Multimedia Tools and Applications ， 2022 ， 81 （ 2 ）： 1811 - 1831 . doi: 10.1007/s11042-021-11327-8 http://dx.doi.org/10.1007/s11042-021-11327-8

HUMMEL R . Image enhancement by histogram transformation ［J］. Computer Graphics and Image Processing ， 1977 ， 8 ： 80011-1 - 7 . doi: 10.1016/s0146-664x(77)80011-7 http://dx.doi.org/10.1016/s0146-664x(77)80011-7

KIM T K ， PAIK J K ， KANG B S . Contrast enhancement system using spatially adaptive histogram equalization with temporal filtering ［J］. IEEE Transactions on Consumer Electronics ， 1998 ， 44 （ 1 ）： 82 - 87 . doi: 10.1109/30.663733 http://dx.doi.org/10.1109/30.663733

VORONIN V ， SEMENISHCHEV E ， TOKAREVA S ， et al . Underwater image enhancement algorithm based on logarithmic transform histogram matching with spatial equalization ［C］. 2018 14th IEEE International Conference on Signal Processing （ICSP） . Beijing ： IEEE ， 2018 ： 434 - 438 . doi: 10.1109/icsp.2018.8652298 http://dx.doi.org/10.1109/icsp.2018.8652298

ULUTAS G ， USTUBIOGLU B . Underwater image enhancement using contrast limited adaptive histogram equalization and layered difference representation ［J］. Multimedia Tools and Applications ， 2021 ， 80 （ 10 ）： 15067 - 15091 . doi: 10.1007/s11042-020-10426-2 http://dx.doi.org/10.1007/s11042-020-10426-2

WANG Q ， CAI C T ， ZHANG W D ， et al . Adaptive color correction and detail restoration for underwater image enhancement ［J］. Applied Optics ， 2022 ， 61 （ 6 ）： C46 - C54 . doi: 10.1364/ao.433558 http://dx.doi.org/10.1364/ao.433558

SETHI R ， INDU S . Fusion of underwater image enhancement and restoration ［J］. International Journal of Pattern Recognition and Artificial Intelligence ， 2020 ， 34 （ 3 ）： 2054007 . doi: 10.1142/s0218001420540075 http://dx.doi.org/10.1142/s0218001420540075

ZHU D Q ， LIU Z Q ， ZHANG Y M . Underwater image enhancement based on colour correction and fusion ［J］. IET Image Processing ， 2021 ， 15 （ 11 ）： 2591 - 2603 . doi: 10.1049/ipr2.12247 http://dx.doi.org/10.1049/ipr2.12247

GAO F R ， WANG K ， YANG Z Y ， et al . Underwater image enhancement based on local contrast correction and multi-scale fusion ［J］. Journal of Marine Science and Engineering ， 2021 ， 9 （ 2 ）： 225 . doi: 10.3390/jmse9020225 http://dx.doi.org/10.3390/jmse9020225

WANG Y D ， GUO J C ， GAO H ， et al . UIEC^2-Net： CNN-based underwater image enhancement using two color space ［J］. Signal Processing： Image Communication ， 2021 ， 96 ： 116250 . doi: 10.1016/j.image.2021.116250 http://dx.doi.org/10.1016/j.image.2021.116250

LI C Y ， GUO C L ， REN W Q ， et al . An underwater image enhancement benchmark dataset and beyond ［J］. IEEE Transactions on Image Processing ， 2020 ， 29 ： 4376 - 4389 . doi: 10.1109/tip.2019.2955241 http://dx.doi.org/10.1109/tip.2019.2955241

LI C Y ， ANWAR S ， HOU J H ， et al . Underwater image enhancement via medium transmission-guided multi-color space embedding ［J］. IEEE Transactions on Image Processing ， 2021 ， 30 ： 4985 - 5000 . doi: 10.1109/tip.2021.3076367 http://dx.doi.org/10.1109/tip.2021.3076367

王德兴，王越，袁红春 . 基于Inception-Residual和生成对抗网络的水下图像增强［J］. 液晶与显示， 2021 ， 36 （ 11 ）： 1474 - 1485 ． doi: 10.37188/CJLCD.2021-0058 http://dx.doi.org/10.37188/CJLCD.2021-0058

WANG D X ， WANG Y ， YUAN H C . Underwater image enhancement based on Inception-Residual and generative adversarial network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 11 ）： 1474 - 1485 . （in Chinese） . doi: 10.37188/CJLCD.2021-0058 http://dx.doi.org/10.37188/CJLCD.2021-0058

YANG H H ， HUANG K C ， CHEN W T . LAFFNet： A lightweight adaptive feature fusion network for underwater image enhancement ［C］. 2021 IEEE International Conference on Robotics and Automation （ICRA） . Xi'an ： IEEE ， 2021 ： 685 - 692 . doi: 10.1109/icra48506.2021.9561263 http://dx.doi.org/10.1109/icra48506.2021.9561263

IQBAL K ， ODETAYO M ， JAMES A ， et al . Enhancing the low quality images using unsupervised colour correction method ［C］. 2010 IEEE International Conference on Systems， Man and Cybernetics . Istanbul ： IEEE ， 2010 ： 1703 - 1709 . doi: 10.1109/icsmc.2010.5642311 http://dx.doi.org/10.1109/icsmc.2010.5642311

LI C Y ， ANWAR S ， PORIKLI F . Underwater scene prior inspired deep underwater image and video enhancement ［J］. Pattern Recognition ， 2020 ， 98 ： 107038 . doi: 10.1016/j.patcog.2019.107038 http://dx.doi.org/10.1016/j.patcog.2019.107038

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

ISLAM M J ， XIA Y Y ， SATTAR J . Fast underwater image enhancement for improved visual perception ［J］. IEEE Robotics and Automation Letters ， 2020 ， 5 （ 2 ）： 3227 - 3234 . doi: 10.1109/lra.2020.2974710 http://dx.doi.org/10.1109/lra.2020.2974710

浏览量

149

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于改进Fairmot框架的多目标跟踪

基于Inception-Residual和生成对抗网络的水下图像增强