在图像中，有雾存在的大气散射模型如公式（1）所示：

其中：I（x）为原始图像，J（x）为原始图像的无雾状态，t（x）是大气光的透射率，A是大气光值。根据大气光值和透射率可以求得无雾图像，如公式（2）所示。

算法流程图如图2所示。

图2  暗通道先验去雾算法流程图

Fig.2  Flowchart of dark channel prior defogging algorithm

Download:  Full-size image | High-res image | Low-res image

首先，输入原始有雾图像（图3（a）），获取有雾图像的暗通道图，采用局部最小值滤波得到大气光和大气光的透射率。然后，对粗估的透射率采用导向滤波进一步细化。最后，根据原始图像、大气光值以及透射率实现图像去雾，图3（b）为去雾后图像。可以看出，暗通道去雾算法有效去除了部分雾气的干扰，有助于提高目标识别的准确性。

图3  去雾前后结果对比图

Fig.3  Comparison of results before and after defogging

Download:  Full-size image | High-res image | Low-res image

本文研究对象为公路上的车辆，车辆行驶速度较快，尤其是在高速公路上，车辆行驶速度更快，因此对于车辆检测的实时性要求就比较高。在自动驾驶场景中，要求车辆检测的时间在15~20 ms之间，同时如果检测算法网络复杂、计算量大也不利于在车上的嵌入式设备上进行部署，因此本文选择YOLOv5算法进行车辆目标的检测。YOLOv5有5个版本，即YOLOv5x、YOLOv5l、YOLOv5m、YOLOv5s和YOLOv5n。各版本的性能见表2。本文综合考虑计算资源、模型参数、检测准确率、部署能力和算法实用性，选择YOLOv5s作为基础算法，并对其进行了提高检测速度和模型压缩的改进。

表2  COCO数据集上5个版本的YOLOv5的综合性能

Tab.2  Comprehensive performance of five versions of YOLOv5 on the COCO dataset

模型	mAP	时间/ms	参数/M	FLOPs/Billion
YOLOv5n	28.0	45	1.9	4.5
YOLOv5s	37.4	98	7.2	16.5
YOLOv5m	45.4	224	21.2	49.0
YOLOv5l	49	430	46.5	109.1
YOLOv5x	50.7	766	86.7	205.7

Download:  CSV Download:  Table Images

YOLOv5s作为一种神经网络算法，其由输入层、输出层和隐藏层组成。输入层通常表示要处理的信号，输出层表示希望网络产生的预期结果。数据处理主要由位于输入层和输出层之间的隐藏层执行。每个连续的隐藏层都使用其上游层的输出作为输入，对其进行处理，然后将结果传递给下游层^［

由于本文选择的YOLOv5s模型的目标检测时单张图片耗费平均时间为0.17 s，考虑最终还需要对视觉检测结果和毫米波雷达检测结果进行融合，因此视觉检测的实时性仍需要提高。本文提出基于知识蒸馏改进YOLOv5s算法以提高YOLOv5s检测的实时性。知识蒸馏利用传递学习来补充小模型中缺失的特定参数，以尽可能实现大模型的识别准确率。本文中大模型是教师网络，即原始的YOLOv5s车辆检测模型；小模型是学生网络，即改进后的车辆检测模型^［

图4  蒸馏过程图

Fig.4  Distillation process diagram

Download:  Full-size image | High-res image | Low-res image

在知识蒸馏过程中，根据教师网络输出的车辆目标预测结果与学生网络输出的车辆目标预测结果得到软损失函数，通过对损失函数的反向传播训练使学生网络不断向教师网络靠近。但由于教师网络的结果并非全部正确，为了保证学生网络车辆预测结果的准确性，引入硬损失函数，即通过真实车辆标签与学生网络的车辆预测结果得到硬损失函数，通过α、β系数对软硬损失函数进行校正，得到最终的总损失函数。

测量学生和教师模型的相似性可以用公式（3）表示。ℓ_R是一个可以测量相似性的函数，用softmax明确表示。在计算软损失时，当softmax输出的概率分布的熵值相对较小时，负标签的值非常接近0，对损失函数的贡献非常小，导致学生模型在蒸馏过程中对负标签的关注度降低，因此引入温度系数T解决这一问题，如式（4）所示：

其中：I为softmax的logits输入；T越高，教师模型输出车辆类别值概率分布越平坦，学生模型学到的知识越丰富。

总损失L_total如公式（5）表示：

其中：$\alpha$和$\beta$为平衡系数，L_soft为软损失，也就是蒸馏损失，L_hard为硬损失，也就是学生损失。通过迭代训练使软损失与硬损失的综合训练损失所占的比重逐渐趋近1∶0。

L_hard公式如公式（6）所示：

L_soft公式如式（7）所示：

在L_hard中，q${}_i^{\mathrm{1}}$是第i类学生模型在T=1时的softmax输出值；c_j是i类的基本真值，正标签取1，负标签取0。在L_soft中，N是标签的数量，本文中标签主要为车辆，包含卡车、汽车、公交车等；p${}_i^T$是第i类教师模型在系数T处的softmax输出值；q${}_i^T$是第i类学生模型在系数T处的softmax输出值。

改进后的YOLOv5s算法检测结果如图5所示。为了避免对有雾图像检测导致模型准确率和召回率下降，使得检测准确率与COCO数据集统计的准确率偏差较大，以及雾气浓度不同导致检测结果存在偏差等问题，采用无雾数据集对改进后的YOLOv5s进行测试，统计改进前后模型检测的准确率、召回率、预测时间和模型参数大小，检测结果见表3。由表3可知，改进后的YOLOv5s的召回率与准确率基本保持与改进前一致，但模型大小缩减为原来的72%，检测速度提高了35%。

图5  改进前后YOLOv5s检测结果对比

Fig.5  Comparison of YOLOv5s detection results before and after improvement

Download:  Full-size image | High-res image | Low-res image

表3  检测结果对比

Tab.3  Comparison of test results

检测网络	准确率/%	召回率/%	预测时间/s	模型参数/MB
YOLOv5s	92.63	93.31	0.17	13.70
改进后YOLOv5s	92.56	93.31	0.11	9.85

Download:  CSV Download:  Table Images

为了滤除毫米波雷达检测的无效目标和干扰目标，本文首先对毫米波雷达数据进行筛选，保留行车道内的车辆目标。对于静止目标，考虑到车辆检测后续决策和规划中只有相邻车道内的静止目标需要检测，非相邻车道静止目标不会对本车造成影响，因此本文只检测相邻车道内的全部目标和车道内非相邻车道的非静止目标，根据相对位移和相对速度去除无效目标，如式（8）、（9）所示：

式中：X₀表示横向相对距离，v表示相对速度。根据我国道路技术规范和国家标准GB/T 33577要求，双向8车道是30 m，单车道为3.75 m，所以选定行车道的距离为28 m，相邻车道的横向相对距离为4.25 m。满足上述条件的为需要去除的行车道以外的所有目标以及相邻车道以外的静止目标。

本文采用坐标系转换来实现毫米波雷达和视觉的空间融合。图6所示的蓝色坐标系是摄像机坐标系，其坐标原点位于车辆前挡风玻璃处，坐标平面与车辆坐标平面平行；红色坐标系为毫米波雷达坐标系，坐标原点位于车辆前保险杠中心，坐标平面平行于车辆坐标平面。

图6  毫米波雷达和视觉传感器坐标系

Fig.6  mm-wave radar and vision sensor coordinate system

Download:  Full-size image | High-res image | Low-res image

毫米波雷达坐标［X_W Y_W Z_W］到图像坐标［u v］的转换过程可以根据公式（10）进行。其转换过程为：毫米波雷达坐标系转为世界坐标系，世界坐标系转为相机坐标系，相机坐标系转为图像坐标系，最终完成毫米波雷达坐标到图像坐标的转换过程。

式中：$d_x$、$d_y$为每个单位像素对应物理坐标系下的大小；$f$为相机焦距；$R$为旋转矩阵；$T$为平移向量；Z_c为毫米波雷达目标点在相机坐标系中的Z轴坐标。

为了实现时间融合，毫米波雷达和摄像机的数据采集必须及时同步。毫米波雷达和相机采样不均匀，帧速率分别约为10 FPS和30 FPS。本文以低频毫米波雷达的测量时间作为参考，使高频相机的数据向后兼容，实现毫米波雷达和相机之间的时间配准。

毫米波雷达和相机收集的目标数据完成时空对齐后，毫米波雷达数据在空间上转换为图像坐标系，以形成图像上感兴趣的毫米波雷达目标，但这不能识别目标是否为同一车辆目标。为了实现毫米波雷达检测结果和视觉检测结果的互相补充和纠正，本文对毫米波雷达检测目标和视觉检测目标进行匹配。通常，多传感器数据匹配算法主要是感兴趣区域匹配和距离排序匹配方法^［

本文根据毫米波雷达检测目标的横截面反射强度粗略估计目标类别。毫米波雷达检测到的目标横截面与目标类型的对应关系见表4。

表4  目标横截面与目标类型的对应关系

Tab.4  Correspondence between target cross-sections and target types ( m² )

类型	公交车	自行车	汽车	卡车
RCS	160~180	2	100~150	200~300

Download:  CSV Download:  Table Images

本文定义了两个传感器检测到的目标的位置-类型相关矩阵，用｛D｝m×n表示，其中D_ij是该矩阵中的一个元素，表示第i个摄像机目标和第j毫米波雷达探测目标。公式如式（12）所示：

其中：$d_{\mathrm{C}\mathrm{i}}$表示相机中第i个目标的距离测量值，$d_{\mathrm{R}\mathrm{i}}$表示毫米波雷达中第j个目标的距离测量值，m表示距离的偏差影响因素，目标类型相关的矩阵可以用Class_T表示。Class_Ci和Class_Rj分别表示摄像机视频中检测到的第i个目标类型和毫米波雷达中检测出的第j个目标类型，两者之间目标类型偏差的影响因素为f。

假设在任何给定时刻，摄像机检测到视频数据中有m个机动目标，毫米波雷达检测到n个目标。由于每个传感器本身的检测性能存在一定差异，因此两个传感器检测到的目标数量m和n并不完全相等。假设匹配的偏差阈值为D_th，根据方程（11）计算摄像机视频中检测到的第i个目标与毫米波雷达检测到的第一个目标匹配的偏差为｛D｝m×n。找到满足条件D_ij<D_th的数据目标对，然后确定数据目标对中偏差最小的数据目标。如果在摄像机采集的视频中检测到的第i个目标与毫米波雷达检测到的目标数据中的第j个目标的相似性最大，则确定该数据对可以表示两个传感器检测到目标的同一对象。

最后本文利用加权信息融合算法对匹配后的结果进行最终决策。在大雾天气下，毫米波雷达可以检测到更多的有效目标，而视觉在正常天气下的干扰信息更少。根据这两种传感器在雾天的识别能力和信息可靠性，本文设定在雾天下摄像机视觉识别权重为α，毫米波雷达识别权重为β，根据不同的天气情况设置不同的权重值，信息融合后目标属于每一类别的概率Prob表示为式（13）：

其中：E_c为视觉检测的置信度，R_c为毫米波雷达检测的目标存在的可能性，α+β=1。根据不同的天气情况设置不同的权重值，当出现概率超过50%时，则认为该目标存在。目标的最终类别i_max为maxProb。

本文的去雾视觉检测实验所用硬件为单个具有64 GB内存的NVIDIA GeForce RTX 2080Ti GPU，操作系统为Ubuntu18.04。由于雾天场景较少，因此本文实际采集数据为1 500张，通过对晴朗天气进行加雾获得2 500张数据，以及从网上寻找大雾天气下的数据集1 500张，通过对原始数据进行增强，最终数据为10 000张，其中训练数据集为7 000张，测试数据集为3 000张。本文实验中采取的目标检测的评价标准有准确率以及召回率。图7所示为去雾前后视觉检测结果的对比图。由图中红色标记可知，（ⅰ）组去雾后检测到了更多小目标，（ⅱ）组去雾后避免了错误识别的问题，（ⅲ）组去雾后检测到了更多的车辆目标，因此去雾后的图像可以获得更多的细节信息，更能凸显目标，识别到更多的小目标，同时还避免了一些误检和漏检问题。

图7  去雾前后的检测结果对比图

Fig.7  Comparison of detection results before and after defogging

Download:  Full-size image | High-res image | Low-res image

经过在数据集上测试，对比去雾前后目标检测的结果如表5所示。根据表5可知，去雾后在薄雾场景下的准确率提高了6%，召回率提高了10%；在大雾场景下，准确率提高了13%，召回率提高了6%；在浓雾场景下准确率提高了5%，召回率提高了3%。在雾比较薄的情况下，去雾后使用视觉检测可以有效提高检测效率；但是在浓雾场景下，即使去雾，目标检测准确率依然很低。

表5  去雾前后的目标检测结果

Tab.5  Object detection results before and after defogging

天气	原始图像		去雾后图像
	准确率/%	召回率/%	准确率/%	召回率/%
薄雾	85.89	75.69	91.01	85.55
大雾	69.52	65.46	82.45	71.43
浓雾	62.34	44.42	67.89	47.62

Download:  CSV Download:  Table Images

毫米波雷达和视觉融合检测结果的测试采用实际采集的天气不同场景下的数据以及nuScenes数据集进行测试，包含薄雾、大雾、浓雾等。针对不同的天气设置不同的融合权重值。由表5可知，视觉检测在薄雾天气下，经过去雾后，图像中的雾气残留较少，对目标识别的影响较小，其检测准确率较高为91.01%；而在大雾和浓雾天气下，虽然经过去雾，但是图像中仍残留较多雾气，其检测准确率为82.45%和67.89%。毫米波雷达由于其自身的不稳定因素，其检测准确率要低于薄雾下的视觉检测，约为83%，但是由于其不受天气影响，所以在薄雾、大雾和浓雾的天气下，其准确率相差不大。经过测试，本文设置在薄雾下摄像机识别权重α为0.7，毫米波雷达β为0.3，如图8（ⅰ）、图9（ⅰ）组所示；大雾下摄像机识别权重α为0.5，毫米波雷达β为0.5，如图8（ⅱ）、图9（ⅱ）组所示；浓雾下摄像机识别权重α为0.4，毫米波雷达β为0.6，如图8（ⅲ）、图9（ⅲ）组所示。实际采集数据检测如图8所示，nuScenes数据集检测结果如图9所示。

图8  实际采集数据融合检测结果

Fig.8  Results of fusion detection of actual collected data

Download:  Full-size image | High-res image | Low-res image

图9  nuScenes数据集融合检测结果

Fig.9  Detection results of nuScenes dataset fusion

Download:  Full-size image | High-res image | Low-res image

其中红色二维框为毫米波和视觉检测结果匹配成功后得到的目标二维框，绿色二维框为毫米波雷达检测的目标二维框，绿色的点为毫米波雷达检测的目标点。算法检测结果见表6、表7。由表6可知，随着雾气指数的升高，图像去雾后的视觉检测准确率仍呈非常明显的下降，而毫米波和视觉融合的检测结果无论是在薄雾、大雾还是浓雾的情况下都有稳定较好的检测率，同时也降低了毫米波雷达自身不稳定引起的漏检、误检问题。相对于单一传感器，本文提出方法的准确率更高。由表7可知，本方法在nuScenes数据集下，薄雾天气下准确率可达92.01%，召回率达90.37%，在浓雾和大雾天气下的准确率也高于84%，召回率高于86%，可以实现在雾天下的车辆检测。

表6  目标检测结果统计

Tab.6  Statistics of target detection results

天气情况	车辆总数	去雾后视觉检测		毫米波雷达检测		融合后检测
		准确率/%	召回率/%	准确率/%	召回率/%	准确率/%	召回率/%
薄雾	1 521	91.01	85.55	83.63	88.12	92.81	90.70
大雾	875	82.45	71.43	82.97	86.84	87.36	88.81
浓雾	556	67.89	47.62	82.57	86.65	84.73	88.17

Download:  CSV Download:  Table Images

表7  nuScenes数据集的测试结果

Tab.7  Test results of nuScenes dataset

天气情况	准确率/%	召回率/%
薄雾	92.01	90.37
浓雾	88.87	89.03
大雾	84.71	86.79

Download:  CSV Download:  Table Images