Your Location：
Home >
Browse articles >
Image rain removal algorithm based on multi-cascade progressive convolution structure
Image Processing | Updated：2023-10-10
|

    • Image rain removal algorithm based on multi-cascade progressive convolution structure

    • ZHANG Yong

      12 ,  

      GUO Jie-long

      2 ,  

      WANG Fan

      12 ,  

      LAN Hai

      2 ,  

      YU Hui

      2 ,  

      WEI Xian

      2 ,  
    • Chinese Journal of Liquid Crystals and Displays   Vol. 38, Issue 10, Pages: 1409-1422(2023)

    • DOI：10.37188/CJLCD.2022-0383    

      CLC： TP391.4

    • Received：16 November 2022，

      Revised：28 December 2022，

      Published：05 October 2023

    Scan QR Code

  • Cite this article

    PDF

  • ZHANG Yong, GUO Jie-long, WANG Fan, et al. Image rain removal algorithm based on multi-cascade progressive convolution structure[J]. Chinese journal of liquid crystals and displays, 2023, 38(10): 1409-1422. DOI： 10.37188/CJLCD.2022-0383.

  •  
  •  
    Sections

    Abstract

    Rainy images can affect the performance and accuracy of computer vision tasks. Rainy images often contain raindrops or rain marks from different directions， sizes， and shapes. When removing these raindrops and rain marks， the existing methods often do not take into account the feature information of rainy images at different fine scales， and only use a single scale. There is a big defect in image deraining， and it is impossible to restore a clear enough image for visual tasks. Therefore， benefiting from the powerful feature extraction capability of the convolutional neural network architecture， an end-to-end multi-cascade progressive convolution structure operator is proposed， which consists of four convolutional layers connected through a ladder to form an overall module. This module can extract and integrate rainy weather features in multi-scale scenes. The operator module is embedded into the progressive recurrent network structure， the recurrent structure is used to remove rain streaks many times， and finally the rain-free image close to the real image is effectively restored. The method is compared with the existing artificially synthesized rain image datasets Rain100H， Rain100L， Rain800 and the synthetic rain image dataset BDD1000 in the field of automatic driving. The experiment results shows that the PSNR values of the algorithm on the four datasets reach 30.70 ， 37.91， 27.63， 35.74 dB， and the SSIM values reach 0.914， 0.980， 0.894， 0.977. Through the visual display of the rain removal results of the real rain map dataset， the effectiveness of the method in this paper on the rain removal task is fully verified.

    transl

    Keywords

    image rain removal; multi-cascade progressive convolution structure; convolutional neural network; deep learning; multi-scale feature; residual structure

    transl

    1 引言

    随着人工智能与深度学习的研究与发展，计算机视觉技术［

    1］已被广泛应用于自动驾驶、全息投影［2］、计算光学成像［3］等各个领域，对于图像的处理技术也提出了更高的要求。室外采集的雨天图像会对计算机视觉任务造成不可控的恶劣影响，如准确率降低、精度下降、网络无法收敛等。因此，将采集到的雨天图像进行恢复，去除雨痕得到干净的无雨图像是相当有意义的。
    transl

    现有的去雨方法往往只考虑到浅层单一尺度的雨图特征，并未深入挖掘全局特征图所包含的多尺度与精细化特征。本文提出了一种多级联递进卷积结构，可以将原有卷积核提取到的特征图进行多层次分块特征提取后联合重组，分阶段多次地提取特征信息，将原有特征进行深层分离再提取后送入激活层。相比于普通卷积，该卷积结构能够在少量增加参数量的情况下有效地扩大卷积层的感受野，提升对图像细节特征提取能力与全局特征分析能力。具体体现在雨图中，则能够更细致地捕捉到不同大小形状的雨痕或雨纹，对其进行剔除且能有效地保留原无雨图片的背景细节。

    transl

    此外，该结构可以通过合理地调整通道数达到降低网络参数量的目的，缩短了学习时间与学习成本，使网络更加轻量化，可以便携搭载到各种车载图像处理设备中，有广泛的应用前景。本文构建的去雨网络模型在常用的主流雨天数据集与实验室自建的自动驾驶雨天数据集中进行定量和定性的评估，实验结果表明，本文算法的性能均优于现有方法。

    transl

    2 研究现状

    2.1　单幅图像去雨

    在2017年以前，去雨网络的研究主要集中在基于模型分析的方法［

    4］，这些方法主要是在雨图模型上进行的数学解析与重构，区分出雨纹图和无雨背景，达到去雨目的。在该领域研究中，最早由Kang等人［5］提出了一种图像分解的方法，通过对雨图低频/高频分量的分解来去除雨痕。随后，文献［6］构造了基于稀疏编码的方法，通过用稀疏编码判别式将雨层和无雨层分离。Li等人［7］提出了基于先验的高斯混合模型，通过结合先验知识更加有效地去除雨条纹。但基于模型分析的传统去雨方法取得的去雨效果普遍较差，因此在2017年后，基于数据驱动（深度学习）的单幅图像去雨的研究［4］受到了更多的关注。典型的方法包括深度卷积网络、生成对抗网络及半监督/无监督的方法。在深度卷积网络方法中，文献［8］搭建了一种多任务卷积网络架构学习得到二进制的雨图和干净的背景来去除雨纹。Li等人［9］提出了一种采用扩张卷积神经的循环神经网络，将去雨分为多个阶段达到逐渐去除雨痕的效果。Ren等人［10］采用反复循环展开浅层Resnet网络及阶段性逐步处理输入和输出结果来取得良好的去雨效果。Wang等人［11］提出了一种内建多尺度连接块，将其跳跃连接，以此增强网络的特征提取能力来增强去雨能力。在生成对抗网络的方法中，文献［12］提出了通过多尺度的鉴别器应用于对抗生成网络来降低去雨天图像与真实无雨图像间的差异。在自监督/无监督的去雨方法中，Wei等人［13］最早用半监督学习范式将输入雨天图像与预期无雨图像之间的差异转化为特定的参数化雨条纹，再将其去除达到去雨目的。Jin等人［14］率先提出了一种无监督去雨网络，从未配对的雨天和干净图像中引入自监督约束项来取得去雨效果。
    transl

    2.2　雨图构成

    雨图的解构方法主要包括线性叠加模型［

    7］与复合雨图模型两大类。复合雨图模型包括非线性复合雨纹模型［6］、大雨天气模型［8］、周遭环境融合雨图模型［15］、景深雨图模型［16］等。复合雨图模型虽可以对复杂情境下的雨图进行建模，但存在分析困难、参数复杂的缺点，故不常运用在去雨任务中。本文采用简单有效的线性叠加模型，该模型可以表示为：
    transl

    O=B+S . （1）

    其中：O为雨图，B为干净的无雨背景图，S为雨痕图。该建模假设图像的雨痕条纹只是简单叠加于干净的无雨背景图上，忽略较大的雨痕、雨滴在背景图上形成的雨雾积累效应。

    transl

    2.3　多尺度空间

    同一图像不同的分辨率大小、不同的图像细节层次、不同的尺度缩放、不同卷积层级下的特征图都属于多尺度空间的范畴。在多尺度空间下提取的特征包含更加丰富的视觉信息，所能获取到的信息量更多。现今，多尺度特征提取研究方法包含3类，一种是基于网络整体结构的层间特征信息整合方法，相关的研究文献［

    17-20］基于此方法，通过不同类型的卷积层间连接方式来增加网络特征提取层的多尺度信息提取与整合能力。另一种是基于卷积结构上的创新与改进方法，文献［21-25］通过构建出一个新颖的卷积核模块，扩展原本普通特征提取层的卷积感受野，来取得一定的多尺度信息提取效果。文献［26-27］则是综合了上述两种方法，同时对提取层结构与网络层间连接方式进行改进，取得了一定的效果。
    transl

    3 多级联递进卷积结构的去雨网络

    3.1　多级联递进卷积结构算子

    为了有效提取并利用特征图中的多尺度信息，本文提出了一种多级联递进卷积结构，即通过一种将通道分离后再进行阶梯化卷积并拼接的操作，利用该操作来优化原本的全通道卷积运算，挖掘出特征图的深层次特征信息并在不同的通道中构筑信息联系。相比于普通的单层卷积方式，该结构有效地扩大了感受野范围，增加了多尺度特征信息的提取能力。另外，我们还进一步提出了模型的轻量化改进方法，可以在保证去雨能力的同时，有效解决多尺度研究中存在的参数冗余与模型过大的缺点。

    transl

    针对具体去雨任务，雨点、雨线所体现出的形态特征通常是离散分布于图片的多个区域且形状大小均不一致的状态，此类分布状态就是一种多尺度的特征分布场景。普通的卷积层对于此种特征的捕捉能力相当有限，一般的去雨网络对该雨纹、雨痕的特征学习能力较差。因此，本文在去雨网络中引入多级联递进卷积结构，如图1所示。它可以深入挖掘特征图的细节信息，将多尺度空间所包含的特征信息通过多分支结构分离提取再重组，从而细化每一分支提取细节特征的能力并加强通道间的特征信息融合能力，最后输出完备的多尺度全局特征。正是通过多层次多尺度的细粒度特征提取，使我们能更为有效地捕捉到复杂雨痕特征，再将不同尺度下的雨纹特征融合提取，送入网络中学习训练，最终训练得到了强泛化能力的去雨网络。

    transl

    fig

    图1  多级联递进卷积结构

    Fig.1  Multi-cascade progressive convolution structure

    icon Download:  Full-size image | High-res image | Low-res image

    在实际的特征提取过程中，定义输入的图片为X，首层升维卷积计算操作记为fupgrad。先通过一层1×1卷积将通道数由C扩张成2C，进行特征图的维度增广。该过程不改变原有特征图的宽与高，仅对特征图进行升维操作。通过升维计算可以得到升维后的全局特征图X1。

    transl

    之后通过四层阶梯型卷积结构，每层大小均为3×3的卷积核，通道数依次减半，逐层递减，由上至下卷积计算记为fi,(i=1,2,3,4)，输入为Xi，输出为Yi，可以得到Yi=fi(Xi)。随后将得到的Yi进行concat拼接操作，再通过一层1×1卷积进行特征信息整合，输出深层次细粒度特征提取后的特征图Y，最终得到这一次特征提取的综合结果。公式如式（2）所示：

    transl

    X1=fupgrad(X)Xi=fi-1(Xi-1)   i∈[2,4]Yi=fi(Xi)            i∈[1,4]Y=fout(concat(Yi))     i∈[1,4] . （2）

    在去雨网络中，仅使用单个多级联递进卷积结构算子的特征分析能力较为有限，需要多层级串联后，嵌入去雨骨干网络当中，达到提升去雨效果的目的，同时为了减轻网络加深带来的网络退化效果，该算子在实际应用时，需要引入残差连接来减轻网络退化带来的性能减弱。

    transl

    此外，该算子的第一层1×1卷积核为通道数升维操作，是为了扩大基础特征图所包含的可学习特征信息，以便能更好地进行特征融合提取。若不进行升维操作，会略微降低原有网络效果，但却能大幅减少原网络中可学习的参数量，实现网络轻量化的目的，方便搭载于各种简易智能平台。轻量化结构改进示意图如图2所示。

    transl

    fig

    图2  参数轻量化的多级联递进卷积结构

    Fig.2  Multi-cascade progressive convolution structure with lightweight parameters

    icon Download:  Full-size image | High-res image | Low-res image

    3.2　渐进循环网络结构

    一般的网络结构的搭建常采用多模块堆叠构成。本文采用的网络结构不同于普通堆叠，而是一个主体多次循环的层次化递进循环网络结构。该网络结构由4部分构成：首先该网络的输入由雨图X与阶段性去雨结果Y的张量化拼接构成，第一层网络为输入层fin，包含一层卷积核大小为3×3的卷积层与一层ReLU激活层；第二层网络为长短期记忆（Long short-term memory， LSTM）［

    28］网络层fre，该层用于解决网络多次循环带来的长时依赖问题，能够有效地记忆输入层fin获取到的特征图信息；第三层网络为多级联递进卷积结构模块fm，该模块包括5个串行连接的多级联递进卷积结构算子，结构内通过残差跳跃连接的方式来减少网络加深带来的退化效果；最后一层为输出层fout，包含一层卷积核大小为3×3的卷积层，用于最后的图片还原输出，得到去雨后的图像。我们将第t次循环阶段记为St，则第t次循环可以表示为：
    transl

    Xt=fin(Yt-1,Xin)St=fre(St-1,Xt)Yt=fout(fm(St)) . （3）

    该网络由如图3所示的主体网络结构共循环6次得到，循环次数可以适当增加或减少。本文将在5.4节中给出相应的实验与测试，以此证明在循环次数达到6次时，去雨网络性能最优。基于多级联递进卷积结构的去雨网络最终全局示意图如图4所示。

    transl

    fig

    图3  渐进循环图像去雨网络结构示意图

    Fig.3  Schematic diagram of progressive cycle image deraining network structure

    icon Download:  Full-size image | High-res image | Low-res image
    fig

    图4  基于多级联递进卷积结构的去雨网络

    Fig.4  Rain removal network based on multi-cascade progressive convolution structure

    icon Download:  Full-size image | High-res image | Low-res image

    4 实验工作

    4.1　实验环境及数据集

    为保证实验效果，所进行的实验均为统一的实验环境，实验硬件环境与软件环境如表1与表2所示。实验的网络参数配置为：学习率初始预置为0.000 5；训练迭代次数为100；学习率分别在30、50、80次迭代时衰减学习率，衰减率γ=0.2。网络优化工具为适应性矩阵估计算法（Adaptive moment estimation， Adam）。在数据处理方法上，我们将完整图片裁剪为若干个100×100的补丁块再送入网络中进行运算，以提高网络训练效率。

    transl

    表1  实验硬件环境
    Tab.1  Experimental hardware environment
    实验硬件环境环境配置
    核心处理器 Intel Xeon Gold 5220@2.2 GHz
    内存容量 256 GB
    显卡型号 NVIDIA GeForce RTX 2080Ti
    icon Download:  CSV icon Download:  Table Images
    表2  实验软件环境
    Tab.2  Experimental software environment
    实验软件环境环境配置
    服务器系统 Linux 7.6.1810
    编程语言 Python 3.7.11
    深度学习框架 Pytorch 1.7.1
    开发工具 PyCharm 11.0.11； Matlab
    CUDA版本 10.1.243
    icon Download:  CSV icon Download:  Table Images

    4.2　评价指标与网络损失函数

    本文评价指标是图像去噪领域常采用的结构相似度（Structural similarity， SSIM）［

    29］与峰值信噪比（Peak signal-to-noise ratio， PSNR）两个指标，通过这两项评价指标可以有效地比较去雨图像与真实图像之间的差异大小并量化表示出来。
    transl

    训练网络所使用的损失函数为负结构相似度(-SSIM)，通过最小化损失函数来优化网络参数，使去雨网络的泛化能力达到最优。损失函数可以表示为：

    transl

    Loss=-SSIM(Ig,Igt) ， （4）
    SSIM(Ig,Igt)=(2μxμy+c1)(2σxy+c2)(μx2+μy2+c1)(σx2+σy2+c2) ， （5）

    其中：Ig代表去雨图像，Igt表示真实无雨图像，μ为均值，σ为方差，c为常量。

    transl

    4.3　人工合成雨图数据集

    受限于雨天数据集的获取较为困难，目前广泛采用人工合成的雨天图像数据集。为了测试所提出方法的有效性，我们在人工合成雨图数据集上进行了广泛的训练与测试，并与其他算法的去雨效果进行评价指标与可视化结果的直观对比。实验所采用的数据集是Rain100H［

    8］、Rain100L［8］、Rain800［12］、BDD1000［30］数据集。其中Rain100H为人工合成大雨天气数据集，采用了5种不同方向的复杂雨纹进行合成，包括1 800张训练数据集与100张测试集。Rain100L为人工合成小雨天气数据集，雨纹图样较为简单，仅包含单一方向的雨纹图样，包括200张训练集与100张测试集。Rain800数据集包含了大雨与小雨两种天气状况，雨痕样式较为复杂多样，该数据集包含700张训练集与100张测试集。BDD1000为实验室自建自动驾驶领域合成雨图数据集，从BDD100K自动驾驶数据集中选取了1 000张图片合成而成，其中包含900张训练集与100张测试集。BDD1000数据集主要用于验证本文算法在自动驾驶等实际应用场景下的雨天图像恢复能力，不同于前述3个数据集，该数据集有着更强的应用指向性和探索性，对于今后的图像去雨任务应用研究有一定的开创性与启发性。
    transl

    5 实验结果与分析

    5.1　人工合成雨图数据集

    对比实验选取了以下6种先进去雨方法：

    transl

    （1） GMM［

    7］：基于传统模型分析的方法提出的一种包含背景层与无雨层先验信息的高斯混合模型以适应不同尺度的雨痕，更好地分离出雨纹遮挡与背景图像。
    transl

    （2） DDN［

    31］：基于残差网络提出的一种深度细节网络，通过聚焦高频细节来使用先验图像知识，从而消除背景的干扰，更好地去除图像中的雨点雨线。
    transl

    （3） RESCAN［

    9］：采用扩张卷积获取更大的感受野，并将去雨任务划分为多阶段来去除。
    transl

    （4） DCSFN［

    11］：提出了一种内建多尺度连接块，将其跳跃连接以增强不同尺度间的内部特征联系，提高去雨效果。
    transl

    （5） PreNet［

    10］：提出了一个多阶段的基线去雨模型，通过将每一阶段的去雨输出图像与原始图像拼接作为输入，经过多次循环阶段性去雨。
    transl

    （6） AID-DWT［

    32］：通过在小波空间中施加对抗损失来探索雨图与真实图像相关性的半监督去雨方法。
    transl

    方法1是基于传统模型分析方法，其余均为基于深度卷积神经网络方法，用于对两类去雨方法取得的整体效果进行直观对比，最终实验结果如表3所示。可视化结果如图5所示。

    transl

    表3  人工合成雨天图像数据集实验结果
    Tab.3  Experimental results of artificially synthesized rainy image dataset
    模型评价指标Rain100HRain100LRain800
    GMM PSNR 14.26 29.11 21.27
    SSIM 0.541 0.881 0.764
    DDN PSNR 22.26 34.85 24.04
    SSIM 0.690 0.950 0.867
    RESCAN PSNR 26.60 37.07 24.09
    SSIM 0.897 0.987 0.841
    DCSFN PSNR 27.53 36.60 26.08
    SSIM 0.890 0.979 0.864
    PreNet PSNR 29.45 37.38 26.47
    SSIM 0.899 0.978 0.889
    AID-DWT PSNR 29.85 33.57 26.11
    SSIM 0.902 0.958 0.876
    本文方法 PSNR 30.70 37.91 27.63
    SSIM 0.914 0.980 0.894

    注：  加粗数字为最优结果

    icon Download:  CSV icon Download:  Table Images
    fig

    图5  人工合成雨天图像数据集去雨实验可视化结果

    Fig.5  Visualization results of artificially synthesized rainy day image dataset for rain removal experiment

    icon Download:  Full-size image | High-res image | Low-res image

    从表3实验结果可以看出，本文采用的方法仅在Rain100L数据集的SSIM指标上略低于RESCAN，其他均取得最优性能。在仅包含单一雨纹图样、去雨难度较低的Rain100L数据集上，PSNR达到了37.91 dB；在包含5种雨纹图样、去雨难度较高的Rain100H数据集上，PSNR达到了30.70 dB；在雨纹特征较为复杂的Rain800数据集上，PSNR仍能达到27.63 dB。总体来看，本文算法在Rain100H数据集上的优势最为明显，相比于GMM方法，PSNR与SSIM指标提升了16.44 dB与0.373，表明采用基于传统模型分析方法的GMM方法已经无法处理包含多种雨纹的复杂雨图。而相比于采用基于深度卷积网络的DDN、RESCAN、DCSFN、PreNet、AID-DWT方法，本文方法的PSNR分别提升了8.44，4.1，3.17，1.25，0.85 dB。实验结果表明，本文的去雨算法在深度卷积神经网络方法中表现优异，在3个数据集上均有较好的完成度和精确度，去雨性能优越。

    transl

    从图5的可视化结果来看，基于传统图像处理方式的去雨方法GMM并不能有效地去除较为复杂的雨纹，尤其是包含不同方向的大雨条纹图样，基本没有完成去雨任务。而基于深度卷积神经网络的方法都能较好地完成去雨任务。DDN方法虽然去除了雨纹图样，但还原出来的无雨图像较为模糊，有多处不清晰的斑块。RESCAN方法还原的去雨图像仍有较大的模糊化斑块，未能很好地保留住真实图像的原有细节。DCSFN方法的去雨效果尚可，去雨图像已经能够还原出接近原始图像的无雨图效果，但是从图片的局部放大展示上可以看到，该方法对于细节的还原上欠佳，会将原本图像中的部分偏白色类雨细节当作实际雨纹进行去除，造成细节失真。PreNet方法也能取得不错的去雨效果，但存在细节还原不够到位的缺陷，会产生小范围的图像噪斑。AID-DWT方法存在的问题则是在还原图像时，细节过平滑，导致图像局部模糊化。本文方法注重于考虑雨天图像多尺度下的细粒度特征信息，深入学习与整合不同尺度的雨纹特征，不仅很好地分离并去除了雨纹，还能够有效地保留原始图片中的绝大部分细节，使之足够逼近于真实的原始图像，进一步证明了本文方法的优越性与可靠性。

    transl

    5.2　自动驾驶合成雨天数据集实验结果及分析

    除了人工合成雨天图像数据集之外，为了验证在自动驾驶领域实际应用场景下的图像去雨能力，我们在BDD1000数据集上进行实验。

    transl

    从表4的实验结果可以看到，本文方法在该数据集上仍能取得很好的效果。本文方法的PSNR分别比GMM、RESCAN、DCSFN、AID-DWT、PreNet的PSNR高出11.41，5.06，4.3，2.66，0.67 dB。在SSIM指标上，除了基于传统的GMM以外，其他4种基于神经网络的去雨方法的性能指标均较为接近，但本文方法的SSIM值仍为最大值。

    transl

    表4  自动驾驶领域合成雨天图像数据集实验结果
    Tab.4  Experimental results of synthetic rainy image datasets in the field of autonomous driving
    模型评价指标BDD1000
    GMM PSNR 24.33
    SSIM 0.790
    RESCAN PSNR 30.68
    SSIM 0.924
    DCSFN PSNR 31.44
    SSIM 0.943
    AID-DWT PSNR 33.08
    SSIM 0.962
    PreNet PSNR 35.07
    SSIM 0.977
    本文方法 PSNR 35.74
    SSIM 0.977

    注：  加粗数字为最优结果

    icon Download:  CSV icon Download:  Table Images

    从图6的自动驾驶方向合成雨图数据集的可视化结果可以较为明显地看出，GMM方法仅减弱了雨痕图样，但并未对其进行有效去除，未达到去除雨痕的目的。RESCAN方法可以去除较大范围的雨纹图样但恢复出的去雨图像含有大范围模糊化团块，且仍会留下雨痕，去雨精度不高。DCSFN与AID-DWT方法性能接近，都可以达到一定的去除雨纹的效果，但无法细致地去除微小雨痕，呈现在图像上的仍然是大小不一致的浅白色雨雾块。PreNet方法取得了良好的效果，但在还原后的图片上会存在小部分细节失真的情况，且图片部分明暗程度还原效果不佳。本文方法取得的最终效果相比前述方法，由于运用了多级联递进卷积结构，可以更加精准地识别不同大小的雨纹、雨痕、雨雾，使得还原出的无雨图像更加真实。尤其在自动驾驶图像这类对采集图片准确性与图片真实性要求较为严苛的场景，本文方法仍有显著的效果。

    transl

    fig

    图6  自动驾驶领域合成雨天图像数据集去雨实验可视化结果

    Fig.6  Visualization results of rain removal experiments on synthetic rainy image datasets in the field of autonomous driving

    icon Download:  Full-size image | High-res image | Low-res image

    5.3　真实雨天的图像去雨效果展示

    除了上述展示的合成雨图可视化结果，为了验证在真实雨天图像中的去雨效果，我们将本文方法在Rain100H数据集上进行训练并保存参数，随后在部分真实雨天图像中进行去雨的实际性能测试，最终得到了如图7所示的真实雨天图像去雨可视化结果。但由于真实雨天图像不存在标签图像的对照，我们采用无参考图像评价指标——自然图像质量评估［

    33］（Natural Image Quality Evaluator，NIQE）对真实雨图的去雨效果做出评分，该值大小为0~100，数值越小代表图像质量越好。
    transl

    fig

    图7  真实雨天图像去雨可视化结果

    Fig.7  Real rainy image derained visualization results

    icon Download:  Full-size image | High-res image | Low-res image

    从图7的可视化结果可以看出，本文方法在真实雨图数据上能够有效地完成去雨任务，并在很大程度上保证了图像细节纹理不存在失真的情况。而其他去雨方法或多或少地存在去雨任务完成度欠佳、图像细节失真、去雨图像纹理过平滑、图像成像模糊等缺陷。而从表5的真实图像的NIQE评分结果可以看出，本文方法在3种真实雨图下的评分值均为最小，表明图像质量最好，优于其他去雨方法，也印证了本文算法去雨性能的有效性与优越性。

    transl

    表5  真实雨天图像的NIQE评估
    Tab.5  NIQE evaluation on real rainy images
    模型真实雨图NIQE评分
    GMM Bike 14.984
    Park 22.837
    Road 19.235
    DDN Bike 14.785
    Park 23.811
    Road 19.498
    RESCAN Bike 12.473
    Park 24.634
    Road 19.507
    DCSFN Bike 12.444
    Park 21.356
    Road 21.528
    PreNet Bike 12.443
    Park 22.908
    Road 24.199
    AID-DWT Bike 14.193
    Park 22.513
    Road 21.913
    本文方法 Bike 12.408
    Park 21.119
    Road 18.336

    注：  加粗数字为最优结果

    icon Download:  CSV icon Download:  Table Images

    5.4　网络循环次数消融实验及分析

    在如图4所示的网络结构当中，可以看到存在一个循环结构，该结构用于实现阶段性去雨效果。为了验证多次循环对网络泛化能力的实际影响，令网络循环次数为t，分别选取t值为1~8时，在Rain100H、Rain100L、Rain800数据集上训练并测试，最终得到了多组PSNR指标与SSIM指标数据，并绘制出了相应的折线图，如图8和图9所示。由折线图可知，当t≤5时，本文算法在PSNR指标与SSIM指标呈上升趋势，但并未达到最优性能，仍有性能提升空间。当t=6时，两项指标达到最大值，且在后续继续增大t值时，两项指标并无明显提升。循环次数的增加相当于增大了网络模型的复杂度，导致网络加深，而训练集中的样本数恒定，这会使网络训练过程中产生过拟合现象，出现网络退化，进而造成测试集上的数据指标偏低。因此，为了保证实际去雨任务的效果，综合实验结果，选取网络循环次数t=6时最为妥当。

    transl

    fig

    图8  网络不同循环次数实验结果（PSNR指标）折线图

    Fig.8  Line chart of the experimental results （PSNR index） of different cycle times of the network

    icon Download:  Full-size image | High-res image | Low-res image
    fig

    图9  网络不同循环次数实验结果（SSIM指标）折线图

    Fig.9  Line chart of the experimental results （SSIM index） of different cycle times of the network

    icon Download:  Full-size image | High-res image | Low-res image

    5.5　算子串联层级数量消融实验及分析

    为了探究采用不同多级联递进卷积结构的串联层数对网络实际效果产生的影响，我们构造了不同串联层级数量的算子，在同等环境下进行实验并与只采用普通卷积结构的基准方法对比。结构改变示意如图10所示，其中结构A为本文默认的四层级结构，结构B为减少2层串联层数的二层级结构，结构C为三层级结构，结构D为增加一级串联层数的五层级结构。消融实验结果如表6所示。

    transl

    fig

    图10  消融实验结构示意图

    Fig.10  Schematic diagram of ablation experiment structures

    icon Download:  Full-size image | High-res image | Low-res image
    表6  不同结构分支数的消融实验结果
    Tab.6  Ablation experiment results of different number of structural branches
    模型评价指标Rain100HRain100LRain800
    结构A PSNR 30.70 37.91 27.63
    SSIM 0.914 0.980 0.894
    结构B PSNR 30.28 37.67 27.06
    SSIM 0.910 0.980 0.891
    结构C PSNR 30.62 37.81 27.15
    SSIM 0.913 0.980 0.892
    结构D PSNR 30.56 37.72 27.35
    SSIM 0.912 0.980 0.892
    基准方法 PSNR 29.45 37.38 26.47
    SSIM 0.899 0.978 0.889

    注：  加粗数字为最优结果

    icon Download:  CSV icon Download:  Table Images

    从算子串联层级数量的消融实验结果可以看出，4种结构的实验效果均优于基准方法，证明了本文算子对于去雨任务的有效提升，但不同的串联层数对算子的实际效果会产生一定的影响。采用结构B与结构C的相关实验数据表明，较少的串联层数会影响算子的多尺度特征捕捉能力，进而影响网络的泛化能力。在算子结构当中，每一层的串联卷积都作用于不同的通道数下，因此卷积核在不同层级所学习到的雨纹特征是存在差异的，深层次卷积学习到的雨纹特征是细粒度的，浅层次卷积则无法学习到此种特征。因此减少层数会降低算子的深层雨纹特征提取能力，体现在实验数据上就是相较于结构A的PSNR和SSIM两项指标都较低，去雨任务完成度欠佳。但过多的层数也并不会为算子带来巨量的性能提升，结构D的相关实验数据也说明了此点。在增加一层卷积串联层数后，虽然理论上会进一步提升算子的深层特征捕捉能力，但在实际的去雨任务当中，这种操作会增加算法的复杂程度，且由于训练集样本数量较少，会使得网络训练过拟合，从而造成测试集的指标下降。同时，由于串联层数的增加，深层卷积核特征通道数存在逐级递减的特性，层数越多则卷积核输入通道数就越少，深层卷积核所接收学习到的雨纹特征也就较为有限，会产生卷积核冗余，不会为算子带来更好的雨纹特征捕捉能力。

    transl

    综上所述，若采用二层级与三层级结构，算子的多尺度特征捕捉能力未被完全发掘，仍有些许提升空间。而进一步增加串联层数，会使得深层卷积核冗余，在实际训练中的学习能力较为有限，且多层级结构也会导致算法过于复杂，存在训练过拟合风险，造成性能下降。因此，采用四层级结构不仅可以完全发挥出算子的多尺度雨纹特征捕捉能力，还可以保证算法复杂度适中，不存在过拟合风险，能够最大程度地保证去雨效果，使恢复出的无雨图像更加清晰真实。

    transl

    5.6　轻量化结构模型实验效果及分析

    将图4中的多级联递进卷积结构替换为普通卷积称为基准方法，替换为如图2所示的参数轻量化的多级联递进卷积结构称为轻量化改进的方法，在常用人工合成雨图数据集上进行实验并对比，实验结果数据如表7所示。在进行了参数轻量化的结构改进后，相比于采用图1所示的原结构方法，在3个数据集上取得的PSNR和SSIM两项指标结果有所下降，但相比于基准方法，在Rain100H、Rain100L、Rain800数据集的PSNR指标仍保持了0.45，0.38，0.45 dB的提升。这证明改进后的轻量化结构对于基准方法来说会有小幅度提升，仍能保证网络的泛化能力及雨图恢复效果。在如表8所示的参数量与算法复杂度数据对比中，轻量化改进的方法相比于原基准方法，网络参数量降低了17.9%。在算法复杂度上，我们通过浮点运算数（Floating point operations， FLOPs）来衡量效果，改进后的方法相较于基准方法，浮点运算数下降了0.3 GFLOPs，降幅为17.75%。综上所述，轻量化改进后的模型有效压缩了网络参数，不仅保证了去雨效果，还拥有更少的参数与更低的算法复杂度，这也意味着模型更小、计算量更少，在实际的网络部署中，网络模型的空间需求就更少，有着更好的可应用前景。

    transl

    表7  轻量化结构模型实验效果
    Tab.7  Lightweight structure model experimental results
    模型评价指标Rain100HRain100LRain800
    本文方法 PSNR 30.70 37.91 27.63
    SSIM 0.914 0.980 0.894
    轻量化改进的方法 PSNR 29.90 37.76 26.92
    SSIM 0.905 0.980 0.890
    基准方法 PSNR 29.45 37.38 26.47
    SSIM 0.899 0.978 0.889

    注：  加粗数字为最优结果

    icon Download:  CSV icon Download:  Table Images
    表8  轻量化结构模型参数量与算法复杂度
    Tab.8  Lightweight structure model parameter quantity and algorithm complexity
    模型参数量算法复杂度/GFLOPs
    轻量化改进的方法 138 723 1.39
    基准方法 168 963 1.69
    icon Download:  CSV icon Download:  Table Images

    6 结论

    针对雨天图像中雨纹多尺度场景下去雨效果欠佳的情况，本文提出了一种多级联递进卷积结构，将其构建成一个整体的模块化算子，通过该算子强化对图像中来自不同方向、不同大小的雨纹细节捕捉能力，加强特征通道信息间的联系，最终构筑出完备的全局特征信息图，以此有效扩大网络特征提取层的感受野的范围。将该算子残差化连接后内嵌到渐进循环去雨网络结构中，通过多次循环，分阶段层次化地提取雨纹特征并对其进行去除，逐步达到恢复出真实无雨图像的目的。本文提出的多级联递进卷积结构与轻量化改进结构分别在常用雨天数据集与自动驾驶方向雨天数据集进行训练与测试，并通过量化指标与可视化结果的观察与评判。本文算法的测试集PSNR值分别达到了30.70，37.91，27.63，35.74 dB，SSIM值分别达到了0.914，0.980，0.894，0.977，综合指标结果均优于现有方法。同时，在可视化结果与真实去雨效果展示中，人体视觉感受与NIQE的评估结果也证明了本文结构改进对图像去雨任务的有效性。但本文针对轻量化改进结构的实验与研究以及自动驾驶领域数据集的扩展性探索还需要完善，因此在后续的工作中，可将轻量化去雨算法在实际场景中的应用及部署可行性探究作为本文未来的研究方向。

    transl

    参考文献

    1

    ZUO C， QIAN J M， FENG S J， et al. Deep learning in optical metrology： a review［J］. Light： Science & Applications， 2022， 11（1）： 1-54. doi: 10.1038/s41377-022-00714-x [Baidu Scholar] 

    2

    SITU G H. Deep holography ［J］. Light： Advanced Manufacturing， 2022， 3（1）： 1-23. doi: 10.37188/lam.2022.013 [Baidu Scholar] 

    3

    LUO Y， ZHAO Y F， Li J X， et al. Computational imaging without a computer： seeing through random diffusers at the speed of light ［J］. eLight， 2022， 2（1）： 1-16. doi: 10.1186/s43593-022-00012-4 [Baidu Scholar] 

    4

    陈清江， 吴田田. 基于联结残差网络的单幅图像去雨［J］. 液晶与显示， 2021， 36（4）：605-614. doi: 10.37188/CJLCD.2020-0173 [Baidu Scholar] 

    CHEN Q J， WU T T. Single image deraining based on the concatenation residual network ［J］. Chinese Journal of Liquid Crystals and Displays， 2021， 36（4）：605-614. （in Chinese）. doi: 10.37188/CJLCD.2020-0173 [Baidu Scholar] 

    5

    KANG L W， Lin C W， Fu Y H. Automatic single-image-based rain streaks removal via image decomposition ［J］. IEEE Transactions on Image Processing， 2011， 21（4）： 1742-1755. doi: 10.1109/tip.2011.2179057 [Baidu Scholar] 

    6

    LUO Y， XU Y， JI H. Removing rain from a single image via discriminative sparse coding ［C］//Proceedings of the IEEE International Conference on Computer Vision.New York： IEEE， 2015： 3397-3405. doi: 10.1109/iccv.2015.388 [Baidu Scholar] 

    7

    LI Y， TAN R T， GUO X J， et al. Rain streak removal using layer priors ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE， 2016： 2736-2744. doi: 10.1109/cvpr.2016.299 [Baidu Scholar] 

    8

    YANG W H， TAN R T， FENG J S， et al. Deep joint rain detection and removal from a single image ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Hawaii： IEEE， 2017： 1357-1366. doi: 10.1109/cvpr.2017.183 [Baidu Scholar] 

    9

    LI X， WU J L， LIN Z C， et al. Recurrent squeeze-and-excitation context aggregation net for single image deraining ［C］//Proceedings of the European Conference on Computer Vision （ECCV）. Munich： ECCV， 2018： 254-269. doi: 10.1007/978-3-030-01234-2_16 [Baidu Scholar] 

    10

    REN D W， ZUO W M， HU Q H， et al. Progressive image deraining networks： A better and simpler baseline ［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach： IEEE， 2019： 3937-3946. doi: 10.1109/cvpr.2019.00406 [Baidu Scholar] 

    11

    WANG C， XING X Y， WU Y T， et al. Dcsfn： Deep cross-scale fusion network for single image rain removal ［C］//Proceedings of the 28th ACM International Conference on Multimedia. Nice： ACM， 2020： 1643-1651. doi: 10.1145/3394171.3413820 [Baidu Scholar] 

    12

    ZHANG H， SINDAGI V， PATEL V M. Image de-raining using a conditional generative adversarial network ［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2019， 30（11）： 3943-3956. doi: 10.1109/tcsvt.2019.2920407 [Baidu Scholar] 

    13

    WEI W， MENG D Y， ZHAO Q， et al. Semi-supervised transfer learning for image rain removal ［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach：IEEE， 2019： 3877-3886. doi: 10.1109/cvpr.2019.00400 [Baidu Scholar] 

    14

    JIN X， CHEN Z B， LIN J X， et al. Unsupervised single image deraining with self-supervised constraints ［C］// Proceedings of 2019 IEEE International Conference on Image Processing （ICIP）. Taipei， China： IEE， 2019： 2761-2765. doi: 10.1109/icip.2019.8803238 [Baidu Scholar] 

    15

    LIU J Y， YANG W H， YANG S， et al. Erase or fill？ deep joint recurrent rain removal and reconstruction in videos ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City： IEEE， 2018： 3233-3242. doi: 10.1109/cvpr.2018.00341 [Baidu Scholar] 

    16

    HU X W， Fu C W， ZHU L， et al. Depth-attentional features for single-image rain removal ［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach： IEEE， 2019： 8022-8031. doi: 10.1109/cvpr.2019.00821 [Baidu Scholar] 

    17

    HUANG G， LIU Z， Van Der Maaten L， et al. Densely connected convolutional networks ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Hawaii： IEEE， 2017： 4700-4708. doi: 10.1109/cvpr.2017.243 [Baidu Scholar] 

    18

    HUANG G， CHEN D L， LI T H， et al. Multi-scale dense networks for resource efficient image classification ［J］. arXiv， 2017：1703.09844. [Baidu Scholar] 

    19

    SUN K， XIAO B， LIU D， et al. Deep high-resolution representation learning for human pose estimation ［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach： IEEE， 2019： 5693-5703. doi: 10.1109/cvpr.2019.00584 [Baidu Scholar] 

    20

    YU F， WANG D， SHELHAMER E， et al. Deep layer aggregation ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City： IEEE， 2018： 2403-2412. doi: 10.1109/cvpr.2018.00255 [Baidu Scholar] 

    21

    LIN M， CHEN Q， YAN S C. Network in network ［J/OL］. arXiv， 2013：1312.4400. [Baidu Scholar] 

    22

    GAO S H， CHENG M M， ZHAO K， et al. Res2net： A new multi-scale backbone architecture ［J］. IEEE Transactions on pattern analysis and machine intelligence， 2019， 43（2）： 652-662. [Baidu Scholar] 

    23

    CHEN Y P， FAN H Q， XU B， et al. Drop an octave： Reducing spatial redundancy in convolutional neural networks with octave convolution ［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision. Long Beach： IEEE， 2019： 3435-3444. doi: 10.1109/iccv.2019.00353 [Baidu Scholar] 

    24

    TAN M X， LE Q V. Mixconv： Mixed depthwise convolutional kernels［J/OL］. arXiv， 2019：1907.09595. [Baidu Scholar] 

    25

    DUTA I C， LIU L， ZHU F， et al. Pyramidal convolution： Rethinking convolutional neural networks for visual recognition ［J/OL］. arXiv， 2020： 2006.11538. [Baidu Scholar] 

    26

    SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2015： 1-9. doi: 10.1109/cvpr.2015.7298594 [Baidu Scholar] 

    27

    LI Y， KUANG Z H， CHEN Y M， et al. Data-driven neuron allocation for scale aggregation networks ［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach： IEEE， 2019： 11526-11534. doi: 10.1109/cvpr.2019.01179 [Baidu Scholar] 

    28

    HOCHREITER S， SCHMIDHUBER J. Long short-term memory ［J］. Neural Computation， 1997， 9（8）： 1735-1780. doi: 10.1162/neco.1997.9.8.1735 [Baidu Scholar] 

    29

    ZHOU W， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612. doi: 10.1109/tip.2003.819861 [Baidu Scholar] 

    30

    汪帆， 魏宪， 郭杰龙， 等. 基于多通道分离整合的多尺度单幅图像去雨算法［J］. 计算机与现代化， 2021 （12）： 72. doi: 10.3969/j.issn.1006-2475.2021.12.012 [Baidu Scholar] 

    WANG F， WEI X， GUO J L， et al. Multi-scale single image rain removal based on multi-channel separation and integration ［J］. Computer and Modernization， 2021 （12）： 72. （in Chinese）. doi: 10.3969/j.issn.1006-2475.2021.12.012 [Baidu Scholar] 

    31

    FU X Y， HUANG J B， ZENG D L， et al. Removing rain from single images via a deep detail network ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Hawaii： IEEE， 2017： 3855-3863. doi: 10.1109/cvpr.2017.186 [Baidu Scholar] 

    32

    CUI X， SHANG W， Ren D W， et al. Semi-supervised single image deraining with discrete wavelet transform ［C］//Pacific Rim International Conference on Artificial Intelligence. Cham： Springer， 2021： 265-278. doi: 10.1007/978-3-030-89370-5_20 [Baidu Scholar] 

    33

    MITTAL A， SOUNDARARAJAN R， BOVIK A C. Making a “completely blind” image quality analyzer ［J］. IEEE Signal Processing Letters， 2012， 20（3）： 209-212. doi: 10.1109/lsp.2012.2227726 [Baidu Scholar] 

    487

    Views

    185

    Downloads

    1

    CSCD

    Alert me when the article has been cited
    Submit
    Tools
    Download
    Export Citation
    Share
    Add to favorites
    Add to my album

    Related Articles

    Progress of learning-based computer-generated holography
    Edge-guided light field image saliency detection
    3D light field display with improved visual resolution based on pre-processing convolutional neural network
    Multi-granularity feature fusion for person re-identification

    Related Author

    ZHANG Yong
    WANG Fan
    LAN Hai
    YU Hui
    WEI Xian
    LIU Ke-xuan
    WU Jia-chen
    HE Ze-hao

    Related Institution

    State Key Laboratory of Precision Measurement Technology and Instruments， Department of Precision Instrument， Tsinghua University
    School of Information Science and Engineering， Wuhan University of Science and Technology
    Engineering Research Center for Metallurgical Automation and Measurement Technology of Ministry of Education， Wuhan University of Science and Technology
    College of Electronical Engineering， Beijing University of Posts and Telecommunications
    School of Physics and Electronic-Electrical Engineering, Ningxia University
    0