基于改进条件生成对抗网络的水下图像增强方法

彭晏飞; 李健; 顾丽睿; 张曼婷

doi:10.37188/CJLCD.2021-0327

您当前的位置：

首页 >

文章列表页 >

基于改进条件生成对抗网络的水下图像增强方法

图像处理 | 更新时间：2022-06-06

- 基于改进条件生成对抗网络的水下图像增强方法
- Underwater image enhancement method based on improved conditions generate adversarial networks
- 液晶与显示 2022年37卷第6期页码：768-776
- 作者机构：
  
  辽宁工程技术大学电子与信息工程学院，辽宁葫芦岛 125105
- 作者简介：
  
  [ "彭晏飞（1975—），男，黑龙江五常人，博士，教授，2019 年于辽宁工程技术大学获得博士学位，主要研究方向为智能信息处理、计算机视觉等。E-mail：pengyf75@126. com" ]
  [ "李健（1998—），男，辽宁大连人，硕士研究生，2020 年于辽宁工程技术大学获得学士学位，主要从事图像增强的研究。E-mail：1044946077@qq. com" ]
- 基金信息：
  
  国家自然科学基金(61772249);辽宁省高等学校基本科研项目(LJKZ0358);辽宁工程技术大学双一流学科创新团队资助项目(LNTU20TD-27)
- DOI：10.37188/CJLCD.2021-0327
  中图分类号： TP751.1;TP391.4
- 收稿日期：2021-12-17，
  
  修回日期：2022-01-09，
  
  纸质出版日期：2022-06-05
- 稿件说明：
移动端阅览
彭晏飞, 李健, 顾丽睿, 等. 基于改进条件生成对抗网络的水下图像增强方法[J]. 液晶与显示, 2022,37(6):768-776.

Yan-fei PENG, Jian LI, Li-rui GU, et al. Underwater image enhancement method based on improved conditions generate adversarial networks[J]. Chinese journal of liquid crystals and displays, 2022, 37(6): 768-776.
彭晏飞, 李健, 顾丽睿, 等. 基于改进条件生成对抗网络的水下图像增强方法[J]. 液晶与显示, 2022,37(6):768-776. DOI： 10.37188/CJLCD.2021-0327.

Yan-fei PENG, Jian LI, Li-rui GU, et al. Underwater image enhancement method based on improved conditions generate adversarial networks[J]. Chinese journal of liquid crystals and displays, 2022, 37(6): 768-776. DOI： 10.37188/CJLCD.2021-0327.

摘要

光在水中传播使得红色光衰减严重，从而导致水下图像在颜色上出现偏绿或偏蓝的颜色色差。针对这一红色光衰减现象，提出了一种改进条件生成对抗网络的方法来对水下图像进行增强处理。首先使用动态阈值对原始图像进行初步颜色校正，之后利用条件生成对抗网络在编码与解码连接处引入链接块学习水下图像与正常图像之间的映射关系来实现水下图像的色彩恢复，再使用双边滤波算法进行图像去噪，提高图像的可视性。在损失函数中引入

与

损失结合对图像颜色进行学习，同时加入焦点损失来解决样本比例高度不平衡现象。实验结果表明，此方法在水下图像的颜色失真和模糊方面都有很好的增强效果，获得了较好的视觉效果。

Abstract

The propagation of light in water severely uates red light， this leads to green or blue color difference of the underwater image. Against this red light attenuation phenomenon， a method of improved conditional generation adversarial network is proposed to enhance the underwater images. Raw images are firstly corrected for preliminary color using a dynamic threshold. Then， the color recovery of the underwater image is achieved by generating confrontation network using the condition and introducing the link block to learn the mapping relationship between the underwater image and the normal image. The image denoising is performed using a two-sided filtering algorithm to improve image visibility. The combination of

with

loss is introduced to learn image color， and the focus loss is added to solve the high imbalance of the sample proportion. This method has an excellent enhancement in both color distortion and blur of underwater images， and good visual effects are obtained.

关键词

Keywords

references

孙东洋，刘辉，张纪红，等 . 基于深度卷积神经网络的海洋牧场岩礁性生物图像分类［J］. 海洋与湖沼， 2021 ， 52 （ 5 ）： 1160 - 1169 . doi: 10.11693/hyhz20210100005 http://dx.doi.org/10.11693/hyhz20210100005

SUN D Y ， LIU H ， ZHANG J H ， et al . Classification of reef biological images of marine ranch based on deep convolution neural network ［J］. Oceanologia et Limnologia Sinica ， 2021 ， 52 （ 5 ）： 1160 - 1169 . doi: 10.11693/hyhz20210100005 http://dx.doi.org/10.11693/hyhz20210100005

陈骁，舒艺沆，沈润杰，等 . 基于水下成像物理模型的生成对抗网络［J］. 系统仿真技术， 2021 ， 17 （ 2 ）： 73 - 77，108 . doi: 10.3969/j.issn.1673-1964.2021.02.002 http://dx.doi.org/10.3969/j.issn.1673-1964.2021.02.002

CHEN X ， SHU Y H ， SHEN R J ， et al . Generative adversarial networks based on underwater imaging physical model ［J］. System Simulation Technology ， 2021 ， 17 （ 2 ）： 73 - 77， 108 . doi: 10.3969/j.issn.1673-1964.2021.02.002 http://dx.doi.org/10.3969/j.issn.1673-1964.2021.02.002

何笑，王刚，吐尔洪江·阿布都克力木，等 . 基于小波变换的水下图像增强算法［J］. 数学的实践与认识， 2020 ， 50 （ 21 ）： 164 - 170 . doi: 10.3969/j.issn.1673-629X.2020.09.014 http://dx.doi.org/10.3969/j.issn.1673-629X.2020.09.014

HE X ， WANG G ， TURGUNJAN A ， et al . Underwater image enhancement algorithm based on wavelet transform ［J］. Mathematics in Practice and Theory ， 2020 ， 50 （ 21 ）： 164 - 170 . doi: 10.3969/j.issn.1673-629X.2020.09.014 http://dx.doi.org/10.3969/j.issn.1673-629X.2020.09.014

刘旭，林森，陶志勇 . 全局特征双注意力融合对抗网络的水下图像增强［J/OL］. 电光与控制， https：//kns.cnki.net/kcms/detail/41.1227.TN.20210913.1423.004.html https://kns.cnki.net/kcms/detail/41.1227.TN.20210913.1423.004.html .

LIU X ， LIN S ， TAO Z Y . Enhancement of underwater images for global feature dual attention fusion generative adversarial network ［J/OL］. Electronics Optics & Control ， https：//kns.cnki.net/kcms/detail/41.1227.TN.20210913.1423.004.html https://kns.cnki.net/kcms/detail/41.1227.TN.20210913.1423.004.html .

王晓琦，赵宣植，刘增力 . 基于颜色恒常性和多尺度小波的水下光学图像增强［J］. 激光与光电子学进展， 2022 ， 59 （ 16 ）： 1601002 .

WANG X Q ， ZHAO X Y ， LIU Z L . Underwater optical image enhancement based on color constancy and multi-scale wavelet ［J］. Laser & Optoelectronics Progress ， 2022 ， 59 （ 16 ）： 1601002 .

何笑，王刚，贺欢 . 融合引导滤波和小波变换的水下图像增强算法［J］. 计算技术与自动化， 2021 ， 40 （ 1 ）： 114 - 118 ．

HE X ， WANG G ， HE H . Underwater image enhancement algorithm combining guided filtering and wavelet transform ［J］. Computing Technology and Automation ， 2021 ， 40 （ 1 ）： 114 - 118 .

李庆忠，白文秀，牛炯 . 基于改进CycleGAN的水下图像颜色校正与增强［J］. 自动化学报， 2020 ， 46 （ 10 ）： 1 - 11 ．

LI Q Z ， BAI W X ， NIU J . Underwater image color correction and enhancement based on improved cycle-consistent generative adversarial networks ［J］. Acta Automatica Sinica ， 2020 ， 46 （ 10 ）： 1 - 11 .

LI C Y ， GUO J C ， GUO C L . Emerging from water： underwater image color correction based on weakly supervised color transfer ［J］. IEEE Signal Processing Letters ， 2018 ， 25 （ 3 ）： 323 - 327 . doi: 10.1109/lsp.2018.2792050 http://dx.doi.org/10.1109/lsp.2018.2792050

FU X Y ， QI Q ， ZHA Z J ， et al . Successive graph convolutional network for image de-raining ［J］. International Journal of Computer Vision ， 2021 ， 129 （ 5 ）： 1691 - 1711 . doi: 10.1007/s11263-020-01428-6 http://dx.doi.org/10.1007/s11263-020-01428-6

王达，赵冬青，储成群 . Bayer彩色自动白平衡算法设计及其FPGA实现［J］. 激光杂志， 2021 ， 42 （ 10 ）： 74 - 77 ．

WANG D ， ZHAO D Q ， CHU C Q . Design and FPGA implementation of Bayer color automatic white balance algorithm ［J］. Laser Magazine ， 2021 ， 42 （ 10 ）： 74 - 77 .

林懿伦，戴星原，李力，等 . 人工智能研究的新前线：生成式对抗网络［J］. 自动化学报， 2018 ， 44 （ 5 ）： 775 - 792 ． doi: 10.16383/j.aas.2018.y000002 http://dx.doi.org/10.16383/j.aas.2018.y000002

LIN Y L ， DAI X Y ， LI L ， et al . The new frontier of AI research： generative adversarial networks ［J］. Acta Automatica Sinica ， 2018 ， 44 （ 5 ）： 775 - 792 . doi: 10.16383/j.aas.2018.y000002 http://dx.doi.org/10.16383/j.aas.2018.y000002

MIRZA M ， OSINDERO S . Conditional generative adversarial nets ［J］. arXiv： 1411.1784 ， 2014 .

彭晏飞，杜婷婷，高艺，等 . 基于条件生成对抗网络的低照度遥感图像增强［J］. 激光与光电子学进展， 2020 ， 57 （ 14 ）： 141015 ． doi: 10.3788/LOP57.141015 http://dx.doi.org/10.3788/LOP57.141015

PENG Y F ， DU T T ， GAO Y ， et al . Low-illumination remote sensing image enhancement based on conditional generation adversarial network ［J］. Laser & Optoelectronics Progress ， 2020 ， 57 （ 14 ）： 141015 . doi: 10.3788/LOP57.141015 http://dx.doi.org/10.3788/LOP57.141015

WU S T ， ZHONG S H ， LIU Y . Deep residual learning for image steganalysis ［J］. Multimedia Tools and Applications ， 2018 ， 77 （ 9 ）： 10437 - 10453 . doi: 10.1007/s11042-017-4440-4 http://dx.doi.org/10.1007/s11042-017-4440-4

李微，毕晓君 . 改进U-Net网络的水下图像增强［J］. 应用科技， 2021 ， 48 （ 3 ）： 34 - 40 ． doi: 10.11991/yykj.202103025 http://dx.doi.org/10.11991/yykj.202103025

LI W ， BI X J . Underwater image enhancement based on improved U-Net model ［J］. Applied Science and Technology ， 2021 ， 48 （ 3 ）： 34 - 40 . doi: 10.11991/yykj.202103025 http://dx.doi.org/10.11991/yykj.202103025

RONNEBERGER O ， FISCHER P ， BROX T . U-Net： convolutional networks for biomedical image segmentation ［M］//NAVAB N， HORNEGGER J， WELLS W M， et al. Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015 . Cham ： Springer ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

贾绪仲 . 基于深度学习的图像去雾方法研究［D］. 株洲：湖南工业大学， 2018 ．

JIA X Z . Image dehazing using deep learning ［D］. Zhuzhou ： Hunan University of Technology ， 2018 .

闵信军 . 基于灰度共生矩阵和视觉信息的布匹瑕疵检测方法研究［D］. 镇江：江苏大学， 2018 ．

MIN X J . Research on detection methods of fabric defects based on gray level co-occurrence matrix and visual information ［D］. Zhenjiang ： Jiangsu University ， 2018 .

LI C Y ， GUO C L ， REN W Q ， et al . An underwater image enhancement benchmark dataset and beyond ［J］. IEEE Transactions on Image Processing ， 2019 ， 29 ： 4376 - 4389 . doi: 10.1109/tip.2019.2955241 http://dx.doi.org/10.1109/tip.2019.2955241

马红强，马时平，许悦雷，等 . 基于深度卷积神经网络的低照度图像增强［J］. 光学学报， 2019 ， 39 （ 2 ）： 0210004 ． doi: 10.3788/aos201939.0210004 http://dx.doi.org/10.3788/aos201939.0210004

MA H Q ， MA S P ， XU Y L ， et al . Low-light image enhancement based on deep convolutional neural network ［J］. Acta Optica Sinica ， 2019 ， 39 （ 2 ）： 0210004 . doi: 10.3788/aos201939.0210004 http://dx.doi.org/10.3788/aos201939.0210004

浏览量

303

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于改进颜色线模型的水下图像增强算法

基于Lab色彩空间的沙尘降质图像增强方法

基于Retinex-Net网络模型的渐晕图像校正

基于改进YOLOx的弱光照环境车辆检测方法