基于多尺度块级联的水下图像增强算法

郝骏宇; 杨鸿波; 侯霞; 张洋

doi:10.37188/CJLCD.2022-0352

您当前的位置：

首页 >

文章列表页 >

基于多尺度块级联的水下图像增强算法

图像处理 | 更新时间：2023-09-27

- 基于多尺度块级联的水下图像增强算法
- Underwater image enhancement algorithm based on multi-scale block cascade
- 液晶与显示 2023年38卷第9期页码：1272-1280
- 作者机构：
  
  1.北京信息科技大学自动化学院，北京 100089
- 作者简介：
  
  [ "郝骏宇（1996—），男，山西原平人，硕士研究生，2018年于中北大学获得学士学位，主要从事图像增强及小样本目标检测方面的研究。E-mail：haojy5108@ 163.com" ]
  [ "杨鸿波（1977—），男，河北定州人，博士，教授，2005年于中国科学院电子学研究所获得博士学位，主要从事模式识别及数字图像处理方面的研究。E-mail：anonbo@ bistu.edu.cn" ]
- 基金信息：
  
  国家自然科学基金(62001035);北京市教委科研项目(KM202111232018)
- DOI：10.37188/CJLCD.2022-0352
  中图分类号：
扫描看全文
郝骏宇, 杨鸿波, 侯霞, 等. 基于多尺度块级联的水下图像增强算法[J]. 液晶与显示, 2023,38(9):1272-1280.

HAO Jun-yu, YANG Hong-bo, HOU Xia, et al. Underwater image enhancement algorithm based on multi-scale block cascade[J]. Chinese Journal of Liquid Crystals and Displays, 2023,38(9):1272-1280.
郝骏宇, 杨鸿波, 侯霞, 等. 基于多尺度块级联的水下图像增强算法[J]. 液晶与显示, 2023,38(9):1272-1280. DOI： 10.37188/CJLCD.2022-0352.

HAO Jun-yu, YANG Hong-bo, HOU Xia, et al. Underwater image enhancement algorithm based on multi-scale block cascade[J]. Chinese Journal of Liquid Crystals and Displays, 2023,38(9):1272-1280. DOI： 10.37188/CJLCD.2022-0352.

摘要

由于水中悬浮物的散射以及水体对光的吸收，水下图像有严重的色偏、雾化以及模糊现象。针对现有基于深度学习的水下图像增强算法使用单一的卷积和上下采样方式，导致图像特征提取不充分的问题，本文构建了基于多尺度特征提取的下采样模块、上采样模块和特征提取模块，并在此基础上提出了一个基于多尺度特征提取块级联（MS-FEBC）的水下图像增强网络框架。为进一步提高网络的特征提取能力，在网络高维特征空间中添加了CBAM注意力机制。实验结果表明，与现有算法相比，本文算法有效解决了水下图像存在色偏、雾化和细节丢失等质量较低的问题，在4种客观评价指标上均有显著提升，对图像SIFT特征点检测和Canny边缘检测视觉任务的性能有明显提高。

Abstract

Underwater images often suffer from severe color degradation， haze and local blur， which are attenuated by the scattering of suspended objects in water and the absorption of light by water. Aiming at the problem that the existing underwater image enhancement algorithms based on deep learning use a single convolution， up-sampling and down-sampling mode which leads to insufficient image feature extraction， this paper constructs the down-sampling module， up-sampling module and feature extraction module based on multi-scale feature extraction. On this basis， an underwater image enhancement network framework based on multi-scale feature extraction block cascade （MS-FEBC） is proposed. To further improve the feature extraction capability of the network， the CBAM attention mechanism is added to the high-dimensional feature space of the network. The experimental results demonstrate that compared with the existing algorithms， the algorithm in this paper effectively solves the problem that the underwater images have lower quality such as color-cast， hazing and detail loss. There is a significant improvement in all four objective evaluation indexes. The performance of the image SIFT feature point detection and Canny edge detection vision tasks is significantly improved.

关键词

水下图像增强级联网络多尺度特征提取

Keywords

underwater image enhancementcascaded networkmulti-scale feature extraction

references

宋维玲，郭越，蔡大浩. 中国与美国海洋经济核算对比研究［J］. 中国渔业经济，2021，39（5）：92-102． doi: 10.3969/j.issn.1009-590X.2021.05.011http://dx.doi.org/10.3969/j.issn.1009-590X.2021.05.011

SONG W L， GUO Y， CAI D H. Study on the comparison of ocean economy accounting methodology between China and the United States ［J］. Chinese Fisheries Economics， 2021， 39（5）： 92-102. （in Chinese）. doi: 10.3969/j.issn.1009-590X.2021.05.011http://dx.doi.org/10.3969/j.issn.1009-590X.2021.05.011

魏然然，詹伟达，朱德鹏，等. 改进多尺度的Retinex红外图像增强［J］. 液晶与显示，2021，36（3）：465-474． doi: 10.37188/CJLCD.2020-0109http://dx.doi.org/10.37188/CJLCD.2020-0109

WEI R R， ZHAN W D， ZHU D P， et al. Improved multi-scale Retinex infrared image enhancement ［J］. Chinese Journal of Liquid Crystals and Displays， 2021， 36（3）： 465-474. （in Chinese）. doi: 10.37188/CJLCD.2020-0109http://dx.doi.org/10.37188/CJLCD.2020-0109

李杰. 1949年以来我国海洋渔业管理的实践［J］. 特区经济，2022（8）：97-100．

LI J. The practice of marine fisheries management in China since 1949 ［J］. Special Zone Economy， 2022（8）： 97-100. （in Chinese）

OAKLEY J P， SATHERLEY B L. Improving image quality in poor visibility conditions using a physical model for contrast degradation ［J］. IEEE Transactions on Image Processing， 1998， 7（2）： 167-179. doi: 10.1109/83.660994http://dx.doi.org/10.1109/83.660994

LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition ［J］. Proceedings of the IEEE， 1998， 86（11）： 2278-2324. doi: 10.1109/5.726791http://dx.doi.org/10.1109/5.726791

PEREZ J， ATTANASIO A C， NECHYPORENKO N， et al. A deep learning approach for underwater image enhancement ［C］//Proceedings of International Work-Conference on the Interplay Between Natural and Artificial Computation. Corunna： Springer， 2017： 183-192. doi: 10.1007/978-3-319-59773-7_19http://dx.doi.org/10.1007/978-3-319-59773-7_19

WANG N， ZHOU Y B， HAN F L， et al. UWGAN： underwater GAN for real-world underwater color restoration and dehazing ［J/OL］. arXiv， 2019： 1912.10269. doi: 10.48550/arXiv.1912.10269http://dx.doi.org/10.48550/arXiv.1912.10269

JIANG Q， ZHANG Y F， BAO F X， et al. Two-step domain adaptation for underwater image enhancement ［J］. Pattern Recognition， 2022， 122： 108324. doi: 10.1016/j.patcog.2021.108324http://dx.doi.org/10.1016/j.patcog.2021.108324

李微，毕晓君. 改进U-Net网络的水下图像增强［J］. 应用科技，2021，48（3）：34-40． doi: 10.11991/yykj.202103025http://dx.doi.org/10.11991/yykj.202103025

LI W， BI X J. Underwater image enhancement based on improved U-Net model ［J］. Applied Science and Technology， 2021， 48（3）： 34-40. （in Chinese）. doi: 10.11991/yykj.202103025http://dx.doi.org/10.11991/yykj.202103025

SHARMA P， BISHT I， SUR A. Wavelength-based attributed deep neural network for underwater image restoration ［J］. ACM Transactions on Multimedia Computing， Communications， and Applications， 2023， 19（1）： 2. doi: 10.1145/3511021http://dx.doi.org/10.1145/3511021

QI Q， LI K Q， ZHENG H Y， et al. SGUIE-Net： semantic attention guided underwater image enhancement with multi-scale perception ［J］. IEEE Transactions on Image Processing， 2022， 31： 6816-6830. doi: 10.1109/tip.2022.3216208http://dx.doi.org/10.1109/tip.2022.3216208

WANG Y， ZHANG J， CAO Y， et al. A deep CNN method for underwater image enhancement ［C］//Proceedings of 2017 IEEE International Conference on Image Processing. Beijing： IEEE， 2017： 1382-1386. doi: 10.1109/icip.2017.8296508http://dx.doi.org/10.1109/icip.2017.8296508

LI J， SKINNER K A， EUSTICE R M， et al. WaterGAN： unsupervised generative network to enable real-time color correction of monocular underwater images ［J］. IEEE Robotics and Automation Letters， 2018， 3（1）： 387-394.

YU X L， QU Y Y， HONG M. Underwater-GAN： underwater image restoration via conditional generative adversarial network ［C］//Proceedings of 2018 International Workshops on Pattern Recognition and Information Forensics. Beijing： Springer， 2019： 66-75. doi: 10.1007/978-3-030-05792-3_7http://dx.doi.org/10.1007/978-3-030-05792-3_7

WANG J， LI P， DENG J H， et al. CA-GAN： class-condition attention GAN for underwater image enhancement ［J］. IEEE Access， 2020， 8： 130719-130728. doi: 10.1109/access.2020.3003351http://dx.doi.org/10.1109/access.2020.3003351

WANG Z D， CUN X D， BAO J M， et al. Uformer： a general U-shaped transformer for image restoration ［C］//Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans： IEEE， 2022： 17662-17672. doi: 10.1109/cvpr52688.2022.01716http://dx.doi.org/10.1109/cvpr52688.2022.01716

ZAMIR S W， ARORA A， KHAN S， et al. Restormer： efficient transformer for high-resolution image restoration ［C］//Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans： IEEE， 2022： 5718-5729. doi: 10.1109/cvpr52688.2022.00564http://dx.doi.org/10.1109/cvpr52688.2022.00564

CHEN L Y， CHU X J， ZHANG X Y， et al. Simple baselines for image restoration ［C］//Proceedings of the 17th European Conference on Computer Vision. Tel Aviv： Springer， 2022： 17-33. doi: 10.1007/978-3-031-20071-7_2http://dx.doi.org/10.1007/978-3-031-20071-7_2

WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module ［C］//Proceedings of the 15th European Conference on Computer Vision. Munich： Springer， 2018： 3-19. doi: 10.1007/978-3-030-01234-2_1http://dx.doi.org/10.1007/978-3-030-01234-2_1

LI C Y， GUO C L， REN W Q， et al. An underwater image enhancement benchmark dataset and beyond ［J］. IEEE Transactions on Image Processing， 2019， 29： 4376-4389. doi: 10.1109/tip.2019.2955241http://dx.doi.org/10.1109/tip.2019.2955241

DREWS P JR， NASCIMENTO EDO， MORAES F， et al. Transmission estimation in underwater single images ［C］//Proceedings of 2013 IEEE International Conference on Computer Vision Workshops. Sydney： IEEE， 2013： 825-830. doi: 10.1109/iccvw.2013.113http://dx.doi.org/10.1109/iccvw.2013.113

ZHU J Y， PARK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice： IEEE， 2017： 2242-2251. doi: 10.1109/iccv.2017.244http://dx.doi.org/10.1109/iccv.2017.244

REZA A M. Realization of the contrast limited adaptive histogram equalization （CLAHE） for real-time image enhancement ［J］. Journal of VLSI Signal Processing Systems for Signal， Image and Video Technology， 2004， 38（1）： 35-44. doi: 10.1023/b:vlsi.0000028532.53893.82http://dx.doi.org/10.1023/b:vlsi.0000028532.53893.82

PENG Y T， COSMAN P C. Underwater image restoration based on image blurriness and light absorption ［J］. IEEE Transactions on Image Processing， 2017， 26（4）： 1579-1594. doi: 10.1109/tip.2017.2663846http://dx.doi.org/10.1109/tip.2017.2663846

IQBAL K， SALAM R A， OSMAN A， et al. Underwater image enhancement using an integrated colour model ［J］. IAENG International Journal of Computer Science， 2007， 34（2）： IJCS_34_2_12.

HORÉ A， ZIOU D. Image quality metrics： PSNR vs. SSIM ［C］//Proceedings of 2010 20th International Conference on Pattern Recognition. Istanbul： IEEE， 2010： 2366-2369. doi: 10.1109/icpr.2010.579http://dx.doi.org/10.1109/icpr.2010.579

SHEIKH H R， BOVIK A C. Image information and visual quality ［J］. IEEE Transactions on Image Processing， 2006， 15（2）： 430-444. doi: 10.1109/tip.2005.859378http://dx.doi.org/10.1109/tip.2005.859378

PANETTA K， GAO C， AGAIAN S. Human-visual-system-inspired underwater image quality measures ［J］. IEEE Journal of Oceanic Engineering， 2016， 41（3）： 541-551. doi: 10.1109/joe.2015.2469915http://dx.doi.org/10.1109/joe.2015.2469915

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于Inception-Residual和生成对抗网络的水下图像增强

基于颜色校正和多尺度融合的水下图像增强

基于像素级水平的通道自适应水下图像增强算法