结合噪声掩模训练和最近邻搜索机制的轻量级椒盐去噪

黄成强; 金星

doi:10.37188/CJLCD.2022-0356

您当前的位置：

首页 >

文章列表页 >

结合噪声掩模训练和最近邻搜索机制的轻量级椒盐去噪

图像处理 | 更新时间：2023-09-27

- 结合噪声掩模训练和最近邻搜索机制的轻量级椒盐去噪
- Lightweight salt-and-pepper denoising combining noise mask training and nearest searching mechanism
- 液晶与显示 2023年38卷第9期页码：1234-1247
- 作者机构：
  
  遵义师范学院物理与电子科学学院，贵州遵义 563006
- 作者简介：
  
  [ "黄成强（1985—），男，贵州遵义人，博士，副教授，2015年于中国科学院上海高等研究院获得博士学位，主要从事智能图像处理及数字集成电路的研究。E-mail：18616836345@163.com" ]
  [ "金星（1979—），男，贵州遵义人，硕士，教授，2007年于西南大学获得硕士学位，主要从事图像识别及自动控制方面的研究。E-mail：jx_wd1979@163.com" ]
- 基金信息：
  
  国家自然科学基金(62164014);贵州省科技厅基础研究重点项目(黔科合基础［2018］1424);贵州省教育厅创新群体项目(黔教合KY字［2018］028);贵州省教育厅青年人才成长项目(黔教合KY字［2020］097);遵义市科技局联合基金(遵市科合HZ字［2021］210)
- DOI：10.37188/CJLCD.2022-0356
  中图分类号： TP391;TP751
- 收稿日期：2022-10-26，
  
  修回日期：2022-12-05，
  
  纸质出版日期：2023-09-05
- 稿件说明：
移动端阅览
黄成强, 金星. 结合噪声掩模训练和最近邻搜索机制的轻量级椒盐去噪[J]. 液晶与显示, 2023,38(9):1234-1247.

HUANG Cheng-qiang, JIN Xing. Lightweight salt-and-pepper denoising combining noise mask training and nearest searching mechanism[J]. Chinese journal of liquid crystals and displays, 2023, 38(9): 1234-1247.
黄成强, 金星. 结合噪声掩模训练和最近邻搜索机制的轻量级椒盐去噪[J]. 液晶与显示, 2023,38(9):1234-1247. DOI： 10.37188/CJLCD.2022-0356.

HUANG Cheng-qiang, JIN Xing. Lightweight salt-and-pepper denoising combining noise mask training and nearest searching mechanism[J]. Chinese journal of liquid crystals and displays, 2023, 38(9): 1234-1247. DOI： 10.37188/CJLCD.2022-0356.

摘要

随着图像处理应用在各新兴领域的不断扩展，高性能椒盐去噪仍然是一项具有挑战性的任务。本文提出了一种结合噪声掩模训练和最近邻搜索机制的椒盐去噪方法。首先，搭建一个包含9个卷积层的轻量级神经网络，用于生成高质量的噪声掩模。接着，根据该噪声掩模的噪点标记结果，正常像素不作处理，通过最近邻搜索机制寻找与噪点最相邻的正常像素灰阶替代噪点灰阶。本文提出了一种用于噪点标记的轻量级卷积神经网络。在降低网络深度的同时，在中间层采用深度可分离卷积代替常规卷积，这两个因素使得运算复杂度和参数量得到数量级的降低。另外，提出了一种基于最近邻搜索机制的去噪方法，提升了去噪性能。实验结果表明，所提出网络的运算复杂度比传统网络有数量级的降低，训练所得噪声掩模的误判率分别比极点标记、均值标记和极值图像块标记分别降低了94.79%、94.79%和83.65%。此外，去噪图像的峰值信噪比相比于传统卷积神经网络方法的处理结果提升了2.53%，信息损失降低了6.76%。本文首次将轻量级卷积神经网络应用于椒盐去噪，降低了网络的复杂度，提升了去噪性能。

Abstract

As the application of image process extends to each emerging field， high-performance salt-and-pepper denoising is still a challenging task. Therefore， a salt-and-pepper denoising method combining training of noise mask and nearest searching mechanism is proposed. Firstly， a lightweight neural network with 9 convolutional layers is constructed to generate a high-quality noise mask. Subsequently， according to the marking result of this mask， the normal pixel is not processed， while gray level of the noise pixel is replaced by that of the nearest normal pixels， which is found by using the nearest searching mechanism. In this paper， a lightweight convolutional neural network for noise labeling is proposed. While reducing the network depth， the conventional convolution for the middle layer is replaced by depth-separable convolution. These two factors reduce computational complexity and parameters number by orders of magnitude. And a denoising method based on the nearest searching mechanism is proposed， which will improve the denoising performance. The pixel units marked as normal points are not processed， and only noise points are processed. Experimental results show that the computational complexity of the proposed network is orders of magnitude lower than that of traditional networks， the misjudging rate for the trained noise mask is 94.79%， 94.79% and 83.65% lower than that of the extreme marking， the extreme image block marking and the average marking， respectively. In addition， PSNR of image processed by the proposed method is 2.53% higher than traditional CNN method， and MSE is 6.76% lower. A lightweight convolutional neural network is applied to salt and pepper denoising for the first time， which reduces network complexity and improves denoising performance.

关键词

Keywords

references

吕建威，钱锋，韩昊男，等 . 结合光源分割和线性图像深度估计的夜间图像去雾［J］. 中国光学， 2022 ， 15 （ 1 ）： 34 - 44 . doi: 10.37188/co.2021-0114 http://dx.doi.org/10.37188/co.2021-0114

LV J W ， QIAN F ， HAN H N ， et al . Nighttime image dehazing with a new light segmentation method and a linear image depth estimation model ［J］. Chinese Optics ， 2022 ， 15 （ 1 ）： 34 - 44 . （in Chinese） . doi: 10.37188/co.2021-0114 http://dx.doi.org/10.37188/co.2021-0114

白瑞峰，江山，孙海江，等 . 基于编码解码结构的微血管减压图像实时语义分割［J］. 中国光学（中英文）， 2022 ， 15 （ 5 ）： 1055 - 1065 . doi: 10.37188/co.2022-0120 http://dx.doi.org/10.37188/co.2022-0120

BAI R F ， JIANG S ， SUN H J ， et al . Real-time semantic segmentation of microvascular decompression images based on encoder-decoder structure ［J］. Chinese Optics ， 2022 ， 15 （ 5 ）： 1055 - 1065 . （in Chinese） . doi: 10.37188/co.2022-0120 http://dx.doi.org/10.37188/co.2022-0120

祁忠琪，涂凯，吴书楷，等 . 基于深度学习的含堆叠字符的车牌识别算法［J］. 计算机应用研究， 2021 ， 38 （ 5 ）： 1550 - 1554，1558 .

QI Z Q ， TU K ， WU S K ， et al . Recognizing license plate with stacked characters based on deep learning ［J］. Application Research of Computers ， 2021 ， 38 （ 5 ）： 1550 - 1554， 1558 . （in Chinese）

周胜阳，邹华，肖春霞 . 基于距离限定优化的人脸识别［J］. 计算机应用研究， 2019 ， 36 （ 3 ）： 935 - 939 .

ZHOU S Y ， ZOU H ， XIAO C X . Face recognition based on limit distance optimization ［J］. Application Research of Computers ， 2019 ， 36 （ 3 ）： 935 - 939 . （in Chinese）

NODES T ， GALLAGHER N . Median filters： some modifications and their properties ［J］. IEEE Transactions on Acoustics， Speech， and Signal Processing ， 1982 ， 30 （ 5 ）： 739 - 746 . doi: 10.1109/tassp.1982.1163951 http://dx.doi.org/10.1109/tassp.1982.1163951

ERKAN U ， GÖKREM L ， ENGINOĞLU S . Different applied median filter in salt and pepper noise ［J］. Computers & Electrical Engineering ， 2018 ， 70 ： 789 - 798 . doi: 10.1016/j.compeleceng.2018.01.019 http://dx.doi.org/10.1016/j.compeleceng.2018.01.019

CHEN J Y ， ZHAN Y W ， CAO H Y ， et al . Adaptive probability filter for removing salt and pepper noises ［J］. IET Image Processing ， 2018 ， 12 （ 6 ）： 863 - 871 . doi: 10.1049/iet-ipr.2017.0910 http://dx.doi.org/10.1049/iet-ipr.2017.0910

LU C T ， CHEN Y Y ， WANG L L ， et al . Removal of salt-and-pepper noise in corrupted image using three-values-weighted approach with variable-size window ［J］. Pattern Recognition Letters ， 2016 ， 80 ： 188 - 199 . doi: 10.1016/j.patrec.2016.06.026 http://dx.doi.org/10.1016/j.patrec.2016.06.026

FARAGALLAH O S ， IBRAHEM H M . Adaptive switching weighted median filter framework for suppressing salt-and-pepper noise ［J］. AEU- International Journal of Electronics and Communications ， 2016 ， 70 （ 8 ）： 1034 - 1040 . doi: 10.1016/j.aeue.2016.04.018 http://dx.doi.org/10.1016/j.aeue.2016.04.018

SINGH S ， KAUR B ， SINGH S ， et al . Road sign recognition using LeNet5 network model ［C］. 9th International Conference on Reliability， Infocom Technologies and Optimization （Trends and Future Directions）（ICRITO） . Noida， India ： IEEE ， 2021 ： 1 - 5 . doi: 10.1109/icrito51393.2021.9596560 http://dx.doi.org/10.1109/icrito51393.2021.9596560

HOSNY K M ， KASSEM M A ， FOUAD M M . Classification of skin lesions into seven classes using transfer learning with AlexNet ［J］. Journal of Digital Imaging ， 2020 ， 33 （ 5 ）： 1325 - 1334 . doi: 10.1007/s10278-020-00371-9 http://dx.doi.org/10.1007/s10278-020-00371-9

KRIZHEVSKY A ， SUTSKEVER I ， HINTON G E . ImageNet classification with deep convolutional neural networks ［J］. Communications of the ACM ， 2017 ， 60 （ 6 ）： 84 - 90 . doi: 10.1145/3065386 http://dx.doi.org/10.1145/3065386

SZEGEDY C ， VANHOUCKE V ， IOFFE S ， et al . Rethinking the inception architecture for computer vision ［C］. IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Las Vegas， USA ： IEEE ， 2016 ： 2818 - 2826 . doi: 10.1109/cvpr.2016.308 http://dx.doi.org/10.1109/cvpr.2016.308

MA L ， SHUAI R J ， RAN X M ， et al . Combining DC-GAN with ResNet for blood cell image classification ［J］. Medical & Biological Engineering & Computing ， 2020 ， 58 （ 6 ）： 1251 - 1264 . doi: 10.1007/s11517-020-02163-3 http://dx.doi.org/10.1007/s11517-020-02163-3

ZHANG K ， ZUO W M ， CHEN Y J ， et al . Beyond a Gaussian denoiser： residual learning of deep CNN for image denoising ［J］. IEEE Transactions on Image Processing ， 2017 ， 26 （ 7 ）： 3142 - 3155 . doi: 10.1109/tip.2017.2662206 http://dx.doi.org/10.1109/tip.2017.2662206

XING Y ， XU J ， TAN J Q ， et al . Deep CNN for removal of salt and pepper noise ［J］. IET Image Processing ， 2019 ， 13 （ 9 ）： 1550 - 1560 . doi: 10.1049/iet-ipr.2018.6004 http://dx.doi.org/10.1049/iet-ipr.2018.6004

LIANG L M ， DENG S ， GUEGUEN L ， et al . Convolutional neural network with median layers for denoising salt-and-pepper contaminations ［J］. Neurocomputing ， 2021 ， 442 ： 26 - 35 . doi: 10.1016/j.neucom.2021.02.010 http://dx.doi.org/10.1016/j.neucom.2021.02.010

HOWARD A G ， ZHU M L ， CHEN B ， et al . MobileNets： efficient convolutional neural networks for mobile vision applications ［J/OL］. arXiv ， 2017 ： 1704 . 04861 .

李强，金龙旭，李国宁 . 基于暗电流CMOS图像传感器固定模式噪声校正研究［J］. 液晶与显示， 2021 ， 36 （ 2 ）： 327 - 333 . doi: 10.37188/cjlcd.2020-0176 http://dx.doi.org/10.37188/cjlcd.2020-0176

LI Q ， JIN L X ， LI G N . Fixed pattern noise correction of CMOS image sensor based on dark current ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 2 ）： 327 - 333 . （in Chinese） . doi: 10.37188/cjlcd.2020-0176 http://dx.doi.org/10.37188/cjlcd.2020-0176

ZHANG X Y ， ZHOU X Y ， LIN M X ， et al . ShuffleNet： an extremely efficient convolutional neural network for mobile devices ［C］. IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 6848 - 6856 . doi: 10.1109/cvpr.2018.00716 http://dx.doi.org/10.1109/cvpr.2018.00716

浏览量

362

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于Mamba-2的视频快照压缩成像重构方法

无人机绝对视觉定位的研究进展

基于自适应遮挡恢复与拓扑姿态双向感知的三维手部重建方法

基于光流预测的三维光场显示透视关系校正