融合毫米波雷达与机器视觉的雾天车辆检测

李颀; 叶小敏; 冯文斌

doi:10.37188/CJLCD.2022-0412

您当前的位置：

首页 >

文章列表页 >

融合毫米波雷达与机器视觉的雾天车辆检测

图像处理 | 更新时间：2023-10-10

- 融合毫米波雷达与机器视觉的雾天车辆检测
- Vehicle detection in foggy weather combining millimeter wave rada and machine vision
- 液晶与显示 2023年38卷第10期页码：1445-1454
- 作者机构：
  
  陕西科技大学电子信息与人工智能学院，陕西西安 710021
- 作者简介：
  
  [ "李颀（1973—），女，陕西西安人，博士，教授，2013年于西北工业大学获得博士学位，主要从事机器视觉、自动驾驶、信息融合等方面的研究。E-mail：liqidq@sust.edu.cn" ]
  [ "叶小敏（1997—），女，河南驻马店人，硕士研究生，2020年于陕西科技大学获得学士学位，主要从事图像处理、自动驾驶、辅助驾驶等方面的研究。E-mail：1946175704@qq.com" ]
- 基金信息：
  
  陕西省科技厅项目(S2023-YF-YBNY-0232);西安市科技计划(22NYYF064);西安市未央区科技计划(201305)
- DOI：10.37188/CJLCD.2022-0412
  中图分类号： TP391.41
- 收稿日期：2022-12-08，
  
  修回日期：2023-01-20，
  
  纸质出版日期：2023-10-05
- 稿件说明：
移动端阅览
李颀, 叶小敏, 冯文斌. 融合毫米波雷达与机器视觉的雾天车辆检测[J]. 液晶与显示, 2023,38(10):1445-1454.

LI Qi, YE Xiao-min, FENG Wen-bin. Vehicle detection in foggy weather combining millimeter wave rada and machine vision[J]. Chinese journal of liquid crystals and displays, 2023, 38(10): 1445-1454.
李颀, 叶小敏, 冯文斌. 融合毫米波雷达与机器视觉的雾天车辆检测[J]. 液晶与显示, 2023,38(10):1445-1454. DOI： 10.37188/CJLCD.2022-0412.

LI Qi, YE Xiao-min, FENG Wen-bin. Vehicle detection in foggy weather combining millimeter wave rada and machine vision[J]. Chinese journal of liquid crystals and displays, 2023, 38(10): 1445-1454. DOI： 10.37188/CJLCD.2022-0412.

摘要

车辆检测对于辅助驾驶系统至关重要，由于雾天道路场景严重退化，图像中的车辆信息不明显，导致车辆检测存在漏检、误检的问题。针对上述问题，本文提出了一种融合毫米波雷达和机器视觉的雾天车辆检测方法。首先，采用暗通道去雾算法对图像进行预处理，提高雾天图像中车辆信息的显著性。然后，采用知识蒸馏改进YOLOv5s算法，在YOLOv5s的特征提取网络中引入知识蒸馏，在目标定位和分类阶段计算蒸馏损失，对损失进行反向传播训练小型网络模型，在保证视觉检测准确度的同时提高检测速度。最后，采用基于潜在目标检测区域搜索的距离匹配算法对视觉检测结果和毫米波雷达检测结果进行决策级融合。以检测目标的类型和距离为匹配依据，滤除干扰信息和错误信息，保留毫米波雷达检测和视觉检测融合后的检测置信度较高的目标，从而提高车辆检测的准确率。实验结果表明，该方法在雾天下最高检测准确率达92.8%，召回率达90.7%，能够实现雾天对车辆的检测。

Abstract

Vehicle detection is very vital to the assisted driving system. Due to the serious degradation of the foggy road scene， the vehicle information in the image is not obvious， resulting in missed detection and false detection problems in vehicle detection. Aiming at the above problems， a vehicle detection method in foggy weather combining millimeter-wave radar and machine vision is proposed. First， the dark channel dehazing algorithm is used to preprocess the image to improve the salience of vehicle information in the image under foggy conditions. Then， the knowledge distillation is used to improve the YOLOv5s algorithm， and the knowledge distillation is introduced into the feature extraction network of YOLOv5s， which is used in the target positioning and classification stages to calculate the distillation loss and backpropagate the loss to train a small network model to improve the detection speed while ensuring the accuracy of visual detection. Finally， the distance matching algorithm based on the search of potential target detection areas is used to compare the visual detection results and the millimeter-wave radar detection results decision-making fusion. Based on the type and distance of the detected target， the interference information and erroneous information is filtered out， and the targets with high confidence after fusion in millimeter-wave radar detection and visual detection is retained. Thereby， the accuracy of vehicle detection is improved. The experimental results show that the method has the highest detection accuracy rate of 92.8% and the recall rate of 90.7% in foggy weather， which can realize the detection of vehicles in foggy weather.

关键词

Keywords

references

GUO Y ， LIANG R L ， CUI Y K ， et al . A domain-adaptive method with cycle perceptual consistency adversarial networks for vehicle target detection in foggy weather ［J］. IET Intelligent Transport Systems ， 2022 ， 16 （ 7 ）： 971 - 981 . doi: 10.1049/itr2.12190 http://dx.doi.org/10.1049/itr2.12190

HE K M ， SUN J ， TANG X O ， et al . Single image haze removal using dark channel prior ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2011 ， 33 （ 12 ）： 2341 - 2353 . doi: 10.1109/tpami.2010.168 http://dx.doi.org/10.1109/tpami.2010.168

GAO T ， LI K ， CHEN T ， et al . A novel UAV sensing image defogging method ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2020 ， 13 ： 2610 - 2625 . doi: 10.1109/jstars.2020.2998517 http://dx.doi.org/10.1109/jstars.2020.2998517

张炳力，詹叶辉，潘大巍，等 . 基于毫米波雷达和机器视觉融合的车辆检测［J］. 汽车工程， 2021 ， 43 （ 4 ）： 478 - 484 ． doi: 10.19562/j.chinasae.qcgc.2021.04.004 http://dx.doi.org/10.19562/j.chinasae.qcgc.2021.04.004

ZHANG B L ， ZHAN Y H ， PAN D W ， et al . Vehicle detection based on fusion of millimeter-wave radar and machine vision ［J］. Automotive Engineering ， 2021 ， 43 （ 4 ）： 478 - 484 . （in Chinese） . doi: 10.19562/j.chinasae.qcgc.2021.04.004 http://dx.doi.org/10.19562/j.chinasae.qcgc.2021.04.004

JIANG Q Y ， ZHANG L J ， MENG D J . Target detection algorithm based on MMW radar and camera fusion ［C］// Proceedings of 2019 IEEE Intelligent Transportation Systems Conference . Auckland ： IEEE ， 2019 ： 1 - 6 . doi: 10.1109/itsc.2019.8917504 http://dx.doi.org/10.1109/itsc.2019.8917504

HAN S Y ， WANG X ， XU L H ， et al . Frontal object perception for intelligent vehicles based on radar and camera fusion ［C］// Proceedings of the 35th Chinese Control Conference . Chengdu ： IEEE ， 2016 ： 4003 - 4008 . doi: 10.1109/chicc.2016.7553978 http://dx.doi.org/10.1109/chicc.2016.7553978

LUO Y ， ZHAO Y F ， LI J X ， et al . Computational imaging without a computer： seeing through random diffusers at the speed of light ［J］. eLight ， 2022 ， 2 （ 1 ）： 4 . doi: 10.1186/s43593-022-00012-4 http://dx.doi.org/10.1186/s43593-022-00012-4

ZUO C ， QIAN J M ， FENG S J ， et al . Deep learning in optical metrology： a review ［J］. Light： Science & Applications ， 2022 ， 11 （ 1 ）： 39 . doi: 10.1038/s41377-022-00714-x http://dx.doi.org/10.1038/s41377-022-00714-x

Guohai SITU G . Deep holography ［J］. Light： Advanced Manufacturing ， 2022 ， 3 （ 2 ）： 278 - 300 . doi: 10.37188/lam.2022.013 http://dx.doi.org/10.37188/lam.2022.013

LIU H Y ， SUN F Q ， GU J ， et al . SF-YOLOv5： a lightweight small object detection algorithm based on improved feature fusion mode ［J］. Sensors ， 2022 ， 22 （ 15 ）： 5817 . doi: 10.3390/s22155817 http://dx.doi.org/10.3390/s22155817

刘元峰，姬海军，刘立波 . 基于YOLOv5s的高速公路车辆实时检测模型［J］. 液晶与显示， 2022 ， 37 （ 9 ）： 1228 - 1241 ． doi: 10.37188/CJLCD.2022-0026 http://dx.doi.org/10.37188/CJLCD.2022-0026

LIU Y F ， JI H J ， LIU L B . Real-time detection model of highway vehicle based on YOLOv5s ［J］. Chinese Journal of Liquid Crystals and Displays ， 2022 ， 37 （ 9 ）： 1228 - 1241 . （in Chinese） . doi: 10.37188/CJLCD.2022-0026 http://dx.doi.org/10.37188/CJLCD.2022-0026

DAI G W ， FAN J C . An industrial-grade solution for crop disease image detection tasks ［J］. Frontiers in Plant Science ， 2022 ， 13 ： 921057 . doi: 10.3389/fpls.2022.921057 http://dx.doi.org/10.3389/fpls.2022.921057

XU D P ， LIU Y Q ， WANG Q ， et al . Target detection based on improved hausdorff distance matching algorithm for millimeter-wave radar and video fusion ［J］. Sensors ， 2022 ， 22 （ 12 ）： 4562 . doi: 10.3390/s22124562 http://dx.doi.org/10.3390/s22124562

CHEN B ， PEI X F ， CHEN Z F . Research on target detection based on distributed track fusion for intelligent vehicles ［J］. Sensors ， 2020 ， 20 （ 1 ）： 56 . doi: 10.3390/s20010056 http://dx.doi.org/10.3390/s20010056

浏览量

358

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于改进ShuffleNetV2网络的遥感场景分类模型

基于改进YOLOx的弱光照环境车辆检测方法

基于知识蒸馏和定位引导的Pointpillars点云检测网络

FRKDNet：基于知识蒸馏的特征提炼语义分割网络

基于实时交通状况和自适应像素分割的运动车辆检测