1引言人类感知世界的大部分信息是通过视觉系统获取的，图像是视觉系统最直接的体现。然而，在夜晚或光照不足的场景中拍摄的图像存在视觉效果不佳、对比度低等问题，难以进行深层分析，如目标识别、目标检测等。因此，设计有效提升图像视觉效果的微光图像增强算法，是一项重要任务。目前，国内外主流的微光图像增强算法包含传统算法与深度学习算法：(1)基于传统方法，Hummel等[1]提出直方图均衡化(HE)方法；Pizer等[2]提出局部直方图均衡化(AHE)方法。此类方法虽然简便快捷，但存在纹理模糊问题。随后，基于Land等[3]提出的Retinex理论，Jobson等[4]提出单尺度Retinex(SSR)算法；林剑萍等[5]结合NSCT变换和改进的Retinex及分数阶微分进行多尺度处理，获取增强图像。此类算法存在颜色失真，边缘模糊问题。Guo等[6]通过在RGB通道中找每个像素的最大值来估计照明图，设计LIME网络，但该算法增强后的图像存在对比度低及伪影问题。(2)随着深度学习热潮，众多基于卷积神经网络的微光图像增强算法被提出。Singh等[7]提出基于梯度分解的神经网络图像融合算法，但该方法增强后图像存在噪声及明度分布不均匀现象；Tao等[8]设计了LLCNN网络，使用一个模块提取多尺度特征图，用以增强图像，但此方法易出现块效应和噪声；Li等[9]设计了LightenNet网络，学习微光图像和相应照明图之间的映射，用以增强图像，但增强后图像易出现曝光过度问题；Jiang等[10]提出非配对训练的EnlightenGAN方法，利用对称编码的生成器网络与全局-局部判别器网络增强图像，但GAN难以训练，在训练时易产生梯度消失或梯度爆炸等问题。针对上述问题，本文提出一种新的微光图像增强算法。该方法运用通道转换与分离的思想对单通道进行增强，既降低了网络参数大小提升了训练速度，也有效避免了使用RGB图像进行增强后的图像存在色彩失真及明度分布不均匀的问题。本文的主要贡献如下：(1) 考虑到HSV颜色空间各通道相对独立的特性，仅处理V分量。该算法与处理RGB图像相比，不仅增强后图像亮度提升较好、色彩自然，且模型参数较小、运行时间较快。(2) 设计了一个层级残差模块，该模块提出交叉学习机制，使用不同尺度的卷积核对不同尺度的特征交叉组合相连，实现不同通道信息交互，再将这些特征信息通过局部与全局残差进行自适应特征融合，达到对V分量亮度增强的目的。(3) 在编解码结构中引入特征金字塔注意力模块，使网络关注不同尺度信息，保留细节，获取深层特征信息。设计了并行双分支网络结构，在提高图像亮度及对比度的同时有效加强图像特征信息，使增强后的微光图像更好地还原图像原有特征。2基本原理HSV是由A.R.Smith提出的一种颜色空间模型，也称六角椎体模型，包含色调(H)，饱和度(S)和亮度(V)3个参数。由于HSV颜色空间比RGB颜色空间更接近于人们对色彩的感知且具有直观性的特点，因此本文利用HSV颜色空间对微光图像的亮度分量V增强。由RGB颜色空间向HSV颜色空间的转换可表示为: 1 2 3 4 其中，0≤V≤1, 0≤S≤1, 0≤H≤360。3双分支金字塔网络的微光图像增强算法所提算法对HSV颜色空间中的V分量采用双分支金字塔网络的微光图像增强算法，实现对V分量的增强。网络结构包含两个子网络：浅层网络使用4种不同尺度的卷积核提取浅层特征；深层网络包含2条并行金字塔注意力分支，在增强V分量亮度的同时提取深层特征。整个网络包含4个子模块：浅层特征提取模块，层级残差模块，特征金字塔注意力模块和特征重建模块，网络结构如图 1所示。 图1 双分支金字塔网络网络结构 Two-branch pyramid model network structureFig 1首先将微光图像转换到HSV空间，对V分量设计双分支金字塔网络，输出增强后的V分量；其次将增强后的V分量与H和S分量合并，得到HSV颜色空间中的图像；最后转换回RGB颜色空间，整个算法流程图如图 2所示。 图2 算法流程图 Flow chart of our algorithmFig 23.1浅层特征提取模块首先对HSV颜色空间中的亮度分量V分别使用大小1×1，3×3，5×5，7×7，个数均为16的卷积核提取具有不同尺度感受野的特征信息。4次卷积后进行concat操作，获取更多的全局信息，给深层网络提供不同尺度的特征信息，卷积计算公式如式(5)所示。 5 其中：Y为输入图像，Fi(Y)为第i层的特征图，Fi-1(Y)为第i-1层的特征图，Wi为第i层的卷积核，*为卷积操作。每一层卷积均采用ReLU激活函数，其公式表示如下： 6 其中: xi为第i层的特征输入。将提取到的多尺度浅层特征信息按深度方向进行叠加，用以提升信息维度。3.2层级残差模块本文结合由He等人[11]在ImageNet竞赛中提出的残差网络，提出层级残差模块。该模块首先采用1个INT模块，其次采用3个INT模块，每个INT模块进行局部残差后进行层间堆叠形成层级残差模块，最后对层级残差模块提取的特征信息采用1个INT模块并进行全局残差，形成金字塔注意力分支，实现对V分量的亮度增强。其中INT模块采用交叉学习机制，利用不同大小卷积核提取到的信息交叉组合相连，将不同通道的信息交互，加速模型收敛，INT模块结构如图 3所示。 图3 INT模型结构 INT model structureFig 33.3特征金字塔注意力模块利用U-Net网络结构模型，将特征金字塔注意力(FPA)[12]模块嵌入编码器与解码器之间，最大程度保留细节特征。FPA模块结构如图 4所示，分别采用3×3，5×5，7×7大小的卷积核，形成金字塔结构，该结构精确整合了不同尺度的特征信息。通过1×1大小的卷积核，将原始特征与金字塔注意的特征像素相乘，有效关注全局上下文特征，提高了FPA模块性能。 图4 FPA模块结构 FPA model structureFig 43.4特征重建模块对上述金字塔注意力双分支提取的深层信息进行特征融合，采用大小为1×1×1的卷积核，输出单通道重建特征图，其中1×1卷积核用来减少网络参数，加快收敛。3.5损失函数为了从微光图像中恢复细节完整、色彩丰富的高质量图像，本文提出由平滑的L1损失(SmoothL1 Loss)和感知损失(Perceptual Loss)组合的损失函数，即： 7 其中: L为总损失; LS为平滑的L1损失；LP为感知损失; λ1、λ2代表权重，其中λ1=0.85, λ2=0.15。平滑的L1损失：针对平均绝对误差(L1Loss)在训练后期难以收敛到更高精度，均方误差(L2Loss)在训练后期不稳定，易产生梯度消失或爆炸的问题，本文采用平滑的L1损失，避免两者的缺点，以确保最佳的网络训练。计算公式如式(8)所示。 8 其中xi, j为增强图像与真实图像第i行第j列的像素值之差。感知损失：为了获得真实图像并保留细节，引入训练过的VGG19[13]产生的特征图计算感知损失，测量重建图像的特征和相应真实图像之间的差异，计算公式如式(9)所示。 9 其中: φi, j表示在ImageNet数据集上预处理的VGG19[13]网络φ的第i块第j个卷积输出的特征图，具体是指第3块第3个卷积的特征图; Ih, Ig分别为增强图像与真实图像，Wi, j、Hi, j、Ci, j分别表示第i块第j个卷积特征图的宽、长及其通道数。4实验结果与分析为评估模型性能，将本文算法与其他算法分别从主观与客观方面进行对比，7种对比算法包括HE[1]、AHE[2]、SSR[4]、LIME[6]、LLCNN[8]、BIMEF[14]和Li[9]算法。4.1实验条件及参数设置及其算法步骤本文实验使用的是Tensorflow2.0深度学习框架，在Windows10，Inter i7-10750H，2.6 GHz，16G RAM，Nvidia GeForce 1660Ti GPU平台上完成。采用Adam优化器对模型进行优化，动量参数为β1=0.9，β2=0.999，学习率lr=0.000 1，epoch设置为3 000次。4.2合成微光图像实验首先对人工合成的微光图像进行实验，从公开数据集Berkeley Segmentation Dataset[15]中选取110幅正常光照图像。首先对110幅图像分别进行90°与180°翻转，将数据集扩充至330幅图像；其次利用Retinex理论[3]将每幅正常光照图像的光照分量在(0, 1)之间随机取值；最终合成330幅微光图像。其中264幅图像作为训练集，66幅图像作为测试集，从测试集随机选取4幅图像进行主观评价，如图 5所示。 图5 不同算法对合成微光图像增强效果对比 Contrast of different methods for synthesizing low-light images enhancementFig 5从图 5可以看出，所提算法的主观视觉效果优于其他算法。其中，经AHE[2]算法处理后的图像亮度几乎没有增强；经BIMEF[14]算法处理后的图像比AHE亮度虽有所提升，但依然偏低；经HE[1]算法增强后的图像，其颜色严重偏离真实图像；经LIME[6]和LLCNN[8]算法增强后的Bird图像中出现不规则蓝点，Scenery和Building图像的天空中出现不存在的纹理；经SSR[4]和Li[9]算法增强后的图像出现过曝光现象，且Li增强后的Building图像存在伪影；经本文算法增强后的图像真实自然，最接近原始图像。为进一步说明本文算法的有效性，利用峰值信噪比(PSNR)[16]与结构相似度(SSIM)[17]两项客观评价指标，对上述4幅图像进行计算。本文算法与其他7种对比算法的客观评价指标计算结果如表 1所示。 表1 合成微光图像上不同算法的PSNR与SSIM Image Evaluation index Method HE AHE SSR LIME LLCNN BIMEF Li Ours Bird PSNR/dB 13.094 10.543 8.461 6 23.776 20.232 17.105 21.514 29.326 SSIM 0.499 2 0.420 5 0.625 6 0.817 6 0.763 2 0.729 8 0.819 4 0.870 6 Scenery PSNR/dB 14.970 8.737 1 7.778 0 23.756 21.294 14.217 11.714 28.358 SSIM 0.654 2 0.4163 0.668 2 0.829 5 0.829 5 0.771 4 0.760 0 0.863 5 Bear PSNR/dB 15.205 8.142 8 9.329 9 21.687 18.149 12.817 21.619 29.686 SSIM 0.551 0 0.4092 0.707 0 0.835 7 0.800 7 0.707 9 0.810 7 0.871 8 Building PSNR/dB 16.204 9.578 1 8.176 7 27.003 22.302 13.831 16.562 28.026 SSIM 0.668 4 0.4365 0.584 5 0.847 9 0.815 6 0.673 3 0.786 3 0.868 8 Average PSNR/dB 14.868 9.250 3 8.436 6 24.056 20.494 14.493 17.852 28.849 SSIM 0.593 2 0.4206 0.646 3 0.832 7 0.802 2 0.720 6 0.79 41 0.868 7 PSNR and SSIM of different algorithms for synthesizing low-light imagesTable 1从表 1可以看出，本文算法的PSNR值与SSIM值均高于其他对比算法，说明该双分支金字字塔网络的微光图像增强算法具有明显优势。4.3真实微光图像实验在真实微光图像上进行实验。LOL dataset[18]公开数据集中包含500对微光图像和正常光照图像。选取400幅图像作为训练集，100幅图像作为测试集，从测试集中随机选取4幅图像进行主观评价，评价结果如图 6所示。 图6 不同算法对真实微光图像增强效果对比 Contrast of different methods for real low-light images enhancementFig 6从图 6可以看出，经AHE[2]、BIMEF[14]与Li[9]算法处理后的图像亮度较暗，尤其是经AHE算法处理后的图像亮度几乎没有得到增强；由于传统的HE[1]算法泛化性能较差，对不同数据集的表现不同，经HE算法处理后的图像较图 5中HE算法处理后的图像没有出现严重偏色现象，但存在不规则噪点；经SSR[4]算法处理后的图像存在曝光过度，颜色失真现象；经LIME[6]与LLCNN[8]算法处理后的图像存在边缘模糊，明度不均匀现象；经文本算法处理后的图像颜色和纹理保留相对完整，最接近原始像。进一步对本文算法进行客观评价，对上述4幅图像计算PSNR与SSIM值，结果如表 2所示。 表2 真实微光图像上不同算法的PSNR与SSIM Image Evaluation index Method HE AHE SSR LIME LLCNN BIMEF Li Ours Clothes PSNR/dB 16.291 10.200 9.4567 22.412 22.561 16.248 16.577 29.880 SSIM 0.596 3 0.578 4 0.734 7 0.779 0 0.819 9 0.844 6 0.726 4 0.943 3 Fans PSNR/dB 15.323 9.187 2 11.435 23.256 21.084 15.311 12.120 29.442 SSIM 0.507 4 0.492 0 0.771 6 0.715 8 0.744 9 0.797 8 0.656 7 0.914 0 Bathroom PSNR/dB 15.750 9.299 8 13.121 25.469 22.524 15.935 14.019 29.619 SSIM 0.436 0 0.475 4 0.784 6 0.683 1 0.683 7 0.799 7 0.714 5 0.934 9 Rabbit PSNR/dB 12.136 13.045 7.878 2 18.999 20.221 21.596 16.014 28.864 SSIM 0.372 3 0.553 4 0.617 9 0.608 0 0.601 2 0.822 4 0.699 1 0.928 1 Average PSNR/dB 14.875 10.433 10.473 22.534 21.598 17.273 14.683 29.451 SSIM 0.478 0 0.524 8 0.727 2 0.696 5 0.712 4 0.816 1 0.699 2 0.930 1 PSNR and SSIM of different algorithms for real low-light imagesTable 2从表 2可以看出，本文算法的PSNR值与SSIM值明显高于其他对比算法，说明了该算法的有效性。4.4无参考图的微光图像实验为进一步说明本文算法有效性，在DICM数据库[19]中随机选取2幅图像进行主观评价，如图 7所示。 图7 不同算法对无参考微光图像增强效果对比 Contrast of different methods for no reference low-light images enhancementFig 7从图 7可以看出，经HE[1]算法增强后的图像色彩失真；经AHE[2]与BIMEF[14]算法增强后的图像亮度不足；经SSR[4]算法处理后的图像出现过曝光；经LIME[6]与Li[9]算法增强后的图像出现明度分布不均现象；经LLCNN[8]与本文算法增强后的图像色彩恢复较好，明度分布均匀。由于难以采集同一时刻的真实图像与微光图像，为此使用信息熵(IE)与梯度结构相似度(NRSS)[20]两项无参考图像质量评价指标，对上述2幅图像计算其值，结果如图 8所示。其中IE值越大表明图像信息越丰富，NRSS值越大表明图像失真越小。 图8 无参考微光图像的信息熵与梯度结构相似度 IE and NRSS of low-light images without referenceFig 8从图 8可以看出，对无参考微光图像增强的算法中，本文算法的IE值最大，说明所含信息最丰富。对于Image 1，本文算法的NRSS值最大，对于Image 2，LLCNN算法的NRSS值最大，但本文算法仅次于最优值，说明图像的色彩及细节恢复程度较好。4.5消融实验通过实验证明所提算法的有效性，展示训练细节，在LOL dataset[18]的测试集中随机选取1幅图像，执行消融实验，将仅含第一分支(Model 1)、仅含第二分支(Model 2)、无层级残差(Model 3)以及无特征金字塔注意力(FPA)模块[12](Model 4)与本文模型(Model 5)进行对比，不同模型的主观视觉效果如图 9所示，其客观评价指标如表 3所示。 图9 不同模型的主观视觉对比 Comparison of subjective visual results of different modelsFig 9 表3 不同模型的PSNR与SSIM Image 不同模块 PSNR/dB SSIM Fans Model 1 19.730 0.886 0 Model 2 25.524 0.891 6 Model 3 18.457 0.851 4 Model 4 26.084 0.894 5 Model 5 29.442 0.914 0 PSNR and SSIM of different modelsTable 3从图 9可以看出，经Model 1增强后的图像出现边缘信息丢失及伪影现象；经Model 2与Model 4增强后的图像中植物绿叶颜色失真；经Model 3增强后的图像背景细节不足；经Model 5增强后的图像色彩与细节方面最接近真实图像。从表 3可以看出，Model 1和Model 3的PSNR值与SSIM值与Model 5相比较低，说明含FPA的金字塔注意力分支较好地防止了特征丢失，获取了深层信息；Model 2和Model 4的PSNR值与SSIM值与Model 5相比略低，说明含层级残差模块的金字塔注意力分支较好地增强了V分量的亮度；Model 5的PSNR值与SSIM值均为最高，说明所提网络模型无论是在特征提取还是亮度增强方面都是最优的。4.6模型时间复杂度分析除了对模型的主客观分析外，模型时间复杂度也是一项评测指标，运行时间越短，即模型复杂度越小。在测试集中随机选取2幅图像计算本文算法与其他对比算法的运行时间，每种方法分别对每幅图像运行4次，取其均值作为最终结果，如表 4所示。 表4 不同算法的运行时间 Image HE AHE SSR LIME LLCNN BIMEF Li Ours Clothes 1.594 3 1.840 5 1.995 7 1.882 5 5.346 7 2.987 6 1.556 4 3.621 2 Fans 1.827 6 1.543 4 1.826 2 1.793 4 5.339 8 2.765 7 1.524 3 3.496 0 Running time of different algorithms  (s)Table 4从表 4可以看出，由于Li算法模型结构较简单，运行时间最短；而本文模型参数较大，因此运行时间较长，这将是下一步要优化的问题。5结论本文提出的双分支金字塔网络的微光图像增强算法是将微光图像在HSV颜色空间上的V分量增强。并行双分支网络结构的设计改进了传统的残差结构，提出层级残差模块，缓解了梯度消失，实现了V分量的亮度增强。同时，优化了网络结构，在编码器与解码器之间引入特征金字塔注意力模块，获取深层特征，整合上下文信息。实验结果表明，所提算法在真实图像上的峰值信噪比及结构相似度的均值分别达到29.451 dB和0.930 1，均优于其他对比算法。随后将对网络结构进一步优化，降低了模型的空间复杂度与时间复杂度，获得更好的增强效果。