Underwater image enhancement method based on improved conditions generate adversarial networks

Yan-fei PENG; Jian LI; Li-rui GU; Man-ting ZHANG

doi:10.37188/CJLCD.2021-0327

您当前的位置：

首页 >

文章列表页 >

Underwater image enhancement method based on improved conditions generate adversarial networks

Image Processing | 更新时间：2022-06-06

- Underwater image enhancement method based on improved conditions generate adversarial networks
- Chinese Journal of Liquid Crystals and Displays Vol. 37, Issue 6, Pages: 768-776(2022)
- 作者机构：
  
  辽宁工程技术大学电子与信息工程学院，辽宁葫芦岛 125105
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(61772249);Basic Scientific Research Project of Liaoning Provincial Colleges and Universities(LJKZ0358);Double First-class Discipline Innovation Team Funded By Liaoning Technical University(LNTU20TD-27)
- DOI：10.37188/CJLCD.2021-0327
  CLC： TP751.1;TP391.4
- Received：17 December 2021，
  
  Revised：09 January 2022，
  
  Published：05 June 2022
- 稿件说明：
移动端阅览
Yan-fei PENG, Jian LI, Li-rui GU, et al. Underwater image enhancement method based on improved conditions generate adversarial networks[J]. Chinese journal of liquid crystals and displays, 2022, 37(6): 768-776.
DOI：

Yan-fei PENG, Jian LI, Li-rui GU, et al. Underwater image enhancement method based on improved conditions generate adversarial networks[J]. Chinese journal of liquid crystals and displays, 2022, 37(6): 768-776. DOI： 10.37188/CJLCD.2021-0327.

摘要

光在水中传播使得红色光衰减严重，从而导致水下图像在颜色上出现偏绿或偏蓝的颜色色差。针对这一红色光衰减现象，提出了一种改进条件生成对抗网络的方法来对水下图像进行增强处理。首先使用动态阈值对原始图像进行初步颜色校正，之后利用条件生成对抗网络在编码与解码连接处引入链接块学习水下图像与正常图像之间的映射关系来实现水下图像的色彩恢复，再使用双边滤波算法进行图像去噪，提高图像的可视性。在损失函数中引入

与

损失结合对图像颜色进行学习，同时加入焦点损失来解决样本比例高度不平衡现象。实验结果表明，此方法在水下图像的颜色失真和模糊方面都有很好的增强效果，获得了较好的视觉效果。

Abstract

The propagation of light in water severely uates red light， this leads to green or blue color difference of the underwater image. Against this red light attenuation phenomenon， a method of improved conditional generation adversarial network is proposed to enhance the underwater images. Raw images are firstly corrected for preliminary color using a dynamic threshold. Then， the color recovery of the underwater image is achieved by generating confrontation network using the condition and introducing the link block to learn the mapping relationship between the underwater image and the normal image. The image denoising is performed using a two-sided filtering algorithm to improve image visibility. The combination of

with

loss is introduced to learn image color， and the focus loss is added to solve the high imbalance of the sample proportion. This method has an excellent enhancement in both color distortion and blur of underwater images， and good visual effects are obtained.

关键词

Keywords

references

孙东洋，刘辉，张纪红，等 . 基于深度卷积神经网络的海洋牧场岩礁性生物图像分类［J］. 海洋与湖沼， 2021 ， 52 （ 5 ）： 1160 - 1169 . doi: 10.11693/hyhz20210100005 http://dx.doi.org/10.11693/hyhz20210100005

SUN D Y ， LIU H ， ZHANG J H ， et al . Classification of reef biological images of marine ranch based on deep convolution neural network ［J］. Oceanologia et Limnologia Sinica ， 2021 ， 52 （ 5 ）： 1160 - 1169 . doi: 10.11693/hyhz20210100005 http://dx.doi.org/10.11693/hyhz20210100005

陈骁，舒艺沆，沈润杰，等 . 基于水下成像物理模型的生成对抗网络［J］. 系统仿真技术， 2021 ， 17 （ 2 ）： 73 - 77，108 . doi: 10.3969/j.issn.1673-1964.2021.02.002 http://dx.doi.org/10.3969/j.issn.1673-1964.2021.02.002

CHEN X ， SHU Y H ， SHEN R J ， et al . Generative adversarial networks based on underwater imaging physical model ［J］. System Simulation Technology ， 2021 ， 17 （ 2 ）： 73 - 77， 108 . doi: 10.3969/j.issn.1673-1964.2021.02.002 http://dx.doi.org/10.3969/j.issn.1673-1964.2021.02.002

何笑，王刚，吐尔洪江·阿布都克力木，等 . 基于小波变换的水下图像增强算法［J］. 数学的实践与认识， 2020 ， 50 （ 21 ）： 164 - 170 . doi: 10.3969/j.issn.1673-629X.2020.09.014 http://dx.doi.org/10.3969/j.issn.1673-629X.2020.09.014

HE X ， WANG G ， TURGUNJAN A ， et al . Underwater image enhancement algorithm based on wavelet transform ［J］. Mathematics in Practice and Theory ， 2020 ， 50 （ 21 ）： 164 - 170 . doi: 10.3969/j.issn.1673-629X.2020.09.014 http://dx.doi.org/10.3969/j.issn.1673-629X.2020.09.014

刘旭，林森，陶志勇 . 全局特征双注意力融合对抗网络的水下图像增强［J/OL］. 电光与控制， https：//kns.cnki.net/kcms/detail/41.1227.TN.20210913.1423.004.html https://kns.cnki.net/kcms/detail/41.1227.TN.20210913.1423.004.html .

LIU X ， LIN S ， TAO Z Y . Enhancement of underwater images for global feature dual attention fusion generative adversarial network ［J/OL］. Electronics Optics & Control ， https：//kns.cnki.net/kcms/detail/41.1227.TN.20210913.1423.004.html https://kns.cnki.net/kcms/detail/41.1227.TN.20210913.1423.004.html .

王晓琦，赵宣植，刘增力 . 基于颜色恒常性和多尺度小波的水下光学图像增强［J］. 激光与光电子学进展， 2022 ， 59 （ 16 ）： 1601002 .

WANG X Q ， ZHAO X Y ， LIU Z L . Underwater optical image enhancement based on color constancy and multi-scale wavelet ［J］. Laser & Optoelectronics Progress ， 2022 ， 59 （ 16 ）： 1601002 .

何笑，王刚，贺欢 . 融合引导滤波和小波变换的水下图像增强算法［J］. 计算技术与自动化， 2021 ， 40 （ 1 ）： 114 - 118 ．

HE X ， WANG G ， HE H . Underwater image enhancement algorithm combining guided filtering and wavelet transform ［J］. Computing Technology and Automation ， 2021 ， 40 （ 1 ）： 114 - 118 .

李庆忠，白文秀，牛炯 . 基于改进CycleGAN的水下图像颜色校正与增强［J］. 自动化学报， 2020 ， 46 （ 10 ）： 1 - 11 ．

LI Q Z ， BAI W X ， NIU J . Underwater image color correction and enhancement based on improved cycle-consistent generative adversarial networks ［J］. Acta Automatica Sinica ， 2020 ， 46 （ 10 ）： 1 - 11 .

LI C Y ， GUO J C ， GUO C L . Emerging from water： underwater image color correction based on weakly supervised color transfer ［J］. IEEE Signal Processing Letters ， 2018 ， 25 （ 3 ）： 323 - 327 . doi: 10.1109/lsp.2018.2792050 http://dx.doi.org/10.1109/lsp.2018.2792050

FU X Y ， QI Q ， ZHA Z J ， et al . Successive graph convolutional network for image de-raining ［J］. International Journal of Computer Vision ， 2021 ， 129 （ 5 ）： 1691 - 1711 . doi: 10.1007/s11263-020-01428-6 http://dx.doi.org/10.1007/s11263-020-01428-6

王达，赵冬青，储成群 . Bayer彩色自动白平衡算法设计及其FPGA实现［J］. 激光杂志， 2021 ， 42 （ 10 ）： 74 - 77 ．

WANG D ， ZHAO D Q ， CHU C Q . Design and FPGA implementation of Bayer color automatic white balance algorithm ［J］. Laser Magazine ， 2021 ， 42 （ 10 ）： 74 - 77 .

林懿伦，戴星原，李力，等 . 人工智能研究的新前线：生成式对抗网络［J］. 自动化学报， 2018 ， 44 （ 5 ）： 775 - 792 ． doi: 10.16383/j.aas.2018.y000002 http://dx.doi.org/10.16383/j.aas.2018.y000002

LIN Y L ， DAI X Y ， LI L ， et al . The new frontier of AI research： generative adversarial networks ［J］. Acta Automatica Sinica ， 2018 ， 44 （ 5 ）： 775 - 792 . doi: 10.16383/j.aas.2018.y000002 http://dx.doi.org/10.16383/j.aas.2018.y000002

MIRZA M ， OSINDERO S . Conditional generative adversarial nets ［J］. arXiv： 1411.1784 ， 2014 .

彭晏飞，杜婷婷，高艺，等 . 基于条件生成对抗网络的低照度遥感图像增强［J］. 激光与光电子学进展， 2020 ， 57 （ 14 ）： 141015 ． doi: 10.3788/LOP57.141015 http://dx.doi.org/10.3788/LOP57.141015

PENG Y F ， DU T T ， GAO Y ， et al . Low-illumination remote sensing image enhancement based on conditional generation adversarial network ［J］. Laser & Optoelectronics Progress ， 2020 ， 57 （ 14 ）： 141015 . doi: 10.3788/LOP57.141015 http://dx.doi.org/10.3788/LOP57.141015

WU S T ， ZHONG S H ， LIU Y . Deep residual learning for image steganalysis ［J］. Multimedia Tools and Applications ， 2018 ， 77 （ 9 ）： 10437 - 10453 . doi: 10.1007/s11042-017-4440-4 http://dx.doi.org/10.1007/s11042-017-4440-4

李微，毕晓君 . 改进U-Net网络的水下图像增强［J］. 应用科技， 2021 ， 48 （ 3 ）： 34 - 40 ． doi: 10.11991/yykj.202103025 http://dx.doi.org/10.11991/yykj.202103025

LI W ， BI X J . Underwater image enhancement based on improved U-Net model ［J］. Applied Science and Technology ， 2021 ， 48 （ 3 ）： 34 - 40 . doi: 10.11991/yykj.202103025 http://dx.doi.org/10.11991/yykj.202103025

RONNEBERGER O ， FISCHER P ， BROX T . U-Net： convolutional networks for biomedical image segmentation ［M］//NAVAB N， HORNEGGER J， WELLS W M， et al. Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015 . Cham ： Springer ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

贾绪仲 . 基于深度学习的图像去雾方法研究［D］. 株洲：湖南工业大学， 2018 ．

JIA X Z . Image dehazing using deep learning ［D］. Zhuzhou ： Hunan University of Technology ， 2018 .

闵信军 . 基于灰度共生矩阵和视觉信息的布匹瑕疵检测方法研究［D］. 镇江：江苏大学， 2018 ．

MIN X J . Research on detection methods of fabric defects based on gray level co-occurrence matrix and visual information ［D］. Zhenjiang ： Jiangsu University ， 2018 .

LI C Y ， GUO C L ， REN W Q ， et al . An underwater image enhancement benchmark dataset and beyond ［J］. IEEE Transactions on Image Processing ， 2019 ， 29 ： 4376 - 4389 . doi: 10.1109/tip.2019.2955241 http://dx.doi.org/10.1109/tip.2019.2955241

马红强，马时平，许悦雷，等 . 基于深度卷积神经网络的低照度图像增强［J］. 光学学报， 2019 ， 39 （ 2 ）： 0210004 ． doi: 10.3788/aos201939.0210004 http://dx.doi.org/10.3788/aos201939.0210004

MA H Q ， MA S P ， XU Y L ， et al . Low-light image enhancement based on deep convolutional neural network ［J］. Acta Optica Sinica ， 2019 ， 39 （ 2 ）： 0210004 . doi: 10.3788/aos201939.0210004 http://dx.doi.org/10.3788/aos201939.0210004

Views

303

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Underwater image enhancement algorithm based on improved color-line model

Sand-dust image enhancement based on Lab color space

Correction of vignetting images based on Retinex-Net network model

Improved YOLOx-based vehicle detection method for low light environment

Related Author

PENG Yan-fei

LI Jian

GU Li-rui

ZHANG Man-ting

LIANG Xiuman

YAO Xinzhe

LIU Zhendong

YU Haifeng

Related Institution

College of Electrical Engineering， North China University of Science and Technology

Key Laboratory of Plateau Traffic Information Engineering and Control of Gansu Province， Lanzhou Jiaotong University

School of Automation and Electrical Engineering， Lanzhou Jiaotong University

Key Lab of Opt-Electronic Technology and Intelligent Control of Ministry of Education， Lanzhou Jiaotong University

Space Optoelectronics Technology National and Local Joint Engineering Research Center， Changchun University of Technology

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰