基于Double-Head的雾天图像目标检测

李任斯; 石蕴玉; 刘翔; 汤显; 赵静文

doi:10.37188/CJLCD.2023-0089

您当前的位置：

首页 >

文章列表页 >

基于Double-Head的雾天图像目标检测

图像处理 | 更新时间：2024-07-28

- 基于Double-Head的雾天图像目标检测
- Object detection in foggy image based on Double-Head
- 液晶与显示 2023年38卷第12期页码：1717-1727
- 作者机构：
  
  上海工程技术大学电子电气工程学院，上海 201620
- 作者简介：
  
  [ "李任斯（1998—），男，湖南娄底人，硕士研究生，2020年于上海工程技术大学获得学士学位，主要从事计算机视觉和图像处理方面的研究。E-mail：751667646@qq.com" ]
  [ "石蕴玉（1982—），女，山东济宁人，博士，讲师，2012年于上海大学获得博士学位，主要从事图像和视频处理与分析方面的研究。E-mail：yunyushi@sues.edu.cn" ]
- 基金信息：
  
  中国高校产学研创新基金(2021FNB02001);上海市自然科学基金(19ZR1421500)
- DOI：10.37188/CJLCD.2023-0089
  中图分类号： TP391.4
- 收稿日期：2023-03-07，
  
  修回日期：2023-03-16，
  
  纸质出版日期：2023-12-05
- 稿件说明：
移动端阅览
李任斯, 石蕴玉, 刘翔, 等. 基于Double-Head的雾天图像目标检测[J]. 液晶与显示, 2023,38(12):1717-1727.

LI Ren-si, SHI Yun-yu, LIU Xiang, et al. Object detection in foggy image based on Double-Head[J]. Chinese journal of liquid crystals and displays, 2023, 38(12): 1717-1727.
李任斯, 石蕴玉, 刘翔, 等. 基于Double-Head的雾天图像目标检测[J]. 液晶与显示, 2023,38(12):1717-1727. DOI： 10.37188/CJLCD.2023-0089.

LI Ren-si, SHI Yun-yu, LIU Xiang, et al. Object detection in foggy image based on Double-Head[J]. Chinese journal of liquid crystals and displays, 2023, 38(12): 1717-1727. DOI： 10.37188/CJLCD.2023-0089.

摘要

雾天环境下的图像对比度低，图像中的目标较为模糊并且其特征提取存在一定难度。现有的目标检测方法对于雾天图像的检测准确率偏低。针对上述问题，本文在Double-Head框架上基于图像的特征提取部分和预测头部进行改进。首先，在提取的深层特征图上添加通道和空间双维度的复合注意力机制，提高网络关注显著目标的能力；其次，将原始图像经过改进的暗通道先验以及处理后得到的先验矩阵和特征图进一步融合，获取更全面的雾天图像特征信息；最后，在预测头部引入可分离卷积，使用解耦合预测头对目标进行最终的分类和回归。该方法在RTTS数据集上的mAP为49.37%，在合成数据集S-KITTI和S-COCOval数据集上的AP值分别为66.7%和57.7%。与其他主流算法相比，本文算法具有更高的目标检测精度。

Abstract

Image contrast in the foggy environment is low， and the object is fuzzy so that it is difficult to extract features in images. The existing object detection methods has a low accuracy for detecting objects in foggy images， and the objects is fuzzy and is difficult to extract features. To solve these problems， the feature extraction and prediction head are improved on the Double-Head framework. Firstly， multi-scale salient and effective features of objects in the image are carried out by adding channel attention to the feature maps extracted from the backbone network. Secondly， the prior matrix and fea-ture maps from the original image processing by dark channel prior method with image processing are fused to get more comprehensive feature information in foggy images. Finally， the separable convolution is introduced into the prediction head and the effective decoupled head is used to complete the classification and regression tasks. The proposed method has the mAP of 49.37% on the RTTS dataset， and the AP of 66.7% and 57.7% on the S-KITTI and S-COCOval dataset. Compared with other mainstream algorithms， this algorithm has higher object detection accuracy.

关键词

Keywords

references

REDMON J ， DIVVALA S ， GIRSHICK R ， et al . You only look once： Unified， real-time object detection ［C］// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 779 - 788 . doi: 10.1109/cvpr.2016.91 http://dx.doi.org/10.1109/cvpr.2016.91

LIU W ， ANGUELOV D ， ERHAN D ， et al . SSD： single shot MultiBox detector ［C］// Proceedings of the 14th European Conference on Computer Vision . Amsterdam ： Springer ， 2016 ： 21 - 37 . doi: 10.1007/978-3-319-46448-0_2 http://dx.doi.org/10.1007/978-3-319-46448-0_2

REN S Q ， HE K M ， GIRSHICK R B ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems . Montreal ： Curran Associates ， 2015 ： 91 - 99 .

GIRSHICK R B ， DONAHUE J ， DARRELL T ， et al . Region-based convolutional networks for accurate object detection and segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2015 ， 38 （ 1 ）： 142 - 158 . doi: 10.1109/tpami.2015.2437384 http://dx.doi.org/10.1109/tpami.2015.2437384

GIRSHICK R . Fast R-CNN ［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision . Santiago ： IEEE ， 2015 ： 1440 - 1448 . doi: 10.1109/iccv.2015.169 http://dx.doi.org/10.1109/iccv.2015.169

LIN T Y ， DOLLÁR P ， GIRSHICK R ， et al . Feature pyramid networks for object detection ［C］// Proceedings of the 30th IEEE Conference on Computer Vision and Pattern Recognition . Honolulu ： IEEE ， 2017 ： 936 - 944 . doi: 10.1109/cvpr.2017.106 http://dx.doi.org/10.1109/cvpr.2017.106

LIU S ， QI L ， QIN H F ， et al . Path aggregation network for instance segmentation ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 8759 - 8768 . doi: 10.1109/cvpr.2018.00913 http://dx.doi.org/10.1109/cvpr.2018.00913

PANG J M ， CHEN K ， SHI J P ， et al . Libra R-CNN： towards balanced learning for object detection ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2019 ： 821 - 830 . doi: 10.1109/cvpr.2019.00091 http://dx.doi.org/10.1109/cvpr.2019.00091

李静，喻佳成，张灵灵 . 基于改进SSD的航拍飞机目标检测方法［J］. 液晶与显示， 2023 ， 38 （ 1 ）： 128 - 137 ． doi: 10.37188/cjlcd.2022-0183 http://dx.doi.org/10.37188/cjlcd.2022-0183

LI J ， YU J C ， ZHANG L L . Aircraft target detection method based on improved SSD ［J］. Chinese Journal of Liquid Crystals and Displays ， 2023 ， 38 （ 1 ）： 128 - 137 . （in Chinese） . doi: 10.37188/cjlcd.2022-0183 http://dx.doi.org/10.37188/cjlcd.2022-0183

LI B Y ， PENG X L ， ZHANG Z Y ， et al . AOD-Net： all-in-one dehazing network ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision . Venice ： IEEE ， 2017 ： 4780 - 4788 . doi: 10.1109/iccv.2017.511 http://dx.doi.org/10.1109/iccv.2017.511

汪昱东，郭继昌，王天保 . 一种改进的雾天图像行人和车辆检测算法［J］. 西安电子科技大学学报， 2020 ， 47 （ 4 ）： 70 - 77 ．

WANG Y D ， GUO J C ， WANG T B . Algorithm for foggy-image pedestrian and vehicle detection ［J］. Journal of Xidian University ， 2020 ， 47 （ 4 ）： 70 - 77 . （in Chinese）

解宇虹，谢源，陈亮，等 . 真实有雾场景下的目标检测［J］. 计算机辅助设计与图形学学报， 2021 ， 33 （ 5 ）： 733 - 745 ． doi: 10.3724/sp.j.1089.2021.18554 http://dx.doi.org/10.3724/sp.j.1089.2021.18554

XIE Y H ， XIE Y ， CHEN L ， et al . Object detection in real-world hazy scene ［J］. Journal of Computer-Aided Design & Computer Graphics ， 2021 ， 33 （ 5 ）： 733 - 745 . （in Chinese） . doi: 10.3724/sp.j.1089.2021.18554 http://dx.doi.org/10.3724/sp.j.1089.2021.18554

HE K M ， SUN J ， TANG X O . Single image haze removal using dark channel prior ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2011 ， 33 （ 12 ）： 2341 - 2353 . doi: 10.1109/tpami.2010.168 http://dx.doi.org/10.1109/tpami.2010.168

WU Y ， CHEN Y P ， YUAN L ， et al . 2020 . Rethinking classification and localization for object detection ［C］// Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle ： IEEE ， 2020： 10183 - 10192 . doi: 10.1109/cvpr42600.2020.01020 http://dx.doi.org/10.1109/cvpr42600.2020.01020

NAYAR S K ， NARASIMHAN S G . Vision in bad weather ［C］// Proceedings of the 7th IEEE International Conference on Computer Vision . Kerkyra ： IEEE ， 1999 ： 820 - 827 . doi: 10.1109/iccv.1999.790306 http://dx.doi.org/10.1109/iccv.1999.790306

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

CHOLLET F . Xception： deep learning with depthwise separable convolutions ［C］// Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu ： IEEE ， 2017 ： 1800 - 1807 . doi: 10.1109/cvpr.2017.195 http://dx.doi.org/10.1109/cvpr.2017.195

LI B Y ， REN W Q ， FU D P ， et al . Benchmarking single-image dehazing and beyond ［J］. IEEE Transactions on Image Processing ， 2019 ， 28 （ 1 ）： 492 - 505 . doi: 10.1109/tip.2018.2867951 http://dx.doi.org/10.1109/tip.2018.2867951

GEIGER A ， LENZ P ， URTASUN R . Are we ready for autonomous driving？ The KITTI vision benchmark suite ［C］// Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition . Providence ： IEEE ， 2012 ： 3354 - 3361 . doi: 10.1109/cvpr.2012.6248074 http://dx.doi.org/10.1109/cvpr.2012.6248074

LIN T Y ， MAIRE M ， BELONGIE S ， et al . Microsoft COCO： Common objects in context ［C］// Proceedings of the 2014 13th European Conference on Computer Vision . Zurich ： Springer ， 2014 ： 740 - 755 . doi: 10.1007/978-3-319-10602-1_48 http://dx.doi.org/10.1007/978-3-319-10602-1_48

SHETTY S . Application of convolutional neural network for image classification on Pascal VOC challenge 2012 dataset ［J/OL］. arXiv ， 2016 ： 1607 . 03785 .

REDMON J ， FARHADI A . YOLOv3： an incremental improvement ［J/OL］. arXiv ， 2018 ： 1804 . 02767 . doi: 10.1109/cvpr.2017.690 http://dx.doi.org/10.1109/cvpr.2017.690

ZHANG S F ， CHI C ， YAO Y Q ， et al . Bridging the gap between anchor-based and anchor-free detection via adaptive training sample selection ［C］// Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle ： IEEE ， 2020 ： 9756 - 9765 . doi: 10.1109/cvpr42600.2020.00978 http://dx.doi.org/10.1109/cvpr42600.2020.00978

ZHANG H K ， CHANG H ， MA B P ， et al . Dynamic R-CNN： towards high quality object detection via dynamic training ［C］// Proceedings of the 16th European Conference on Computer Vision . Glasgow ： Springer ， 2020 ： 260 - 275 . doi: 10.1007/978-3-030-58555-6_16 http://dx.doi.org/10.1007/978-3-030-58555-6_16

CAI Z W ， VASCONCELOS N . Cascade R-CNN： delving into high quality object detection ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 6154 - 6162 . doi: 10.1109/cvpr.2018.00644 http://dx.doi.org/10.1109/cvpr.2018.00644

ZHU C C ， HE Y H ， SAVVIDES M . Feature selective anchor-free module for single-shot object detection ［C］// Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2019 ： 840 - 849 . doi: 10.1109/cvpr.2019.00093 http://dx.doi.org/10.1109/cvpr.2019.00093

HU J ， SHEN L ， ALBANIE S ， et al . Squeeze-and-excitation networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2020 ， 42 （ 8 ）： 2011 - 2023 . doi: 10.1109/tpami.2019.2913372 http://dx.doi.org/10.1109/tpami.2019.2913372

WOO S ， PARK J ， LEE J ， et al . CBAM： Convolutional block attention module ［C］. 2018 European Conference on Computer Vision， Springer Cham ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

HOU Q B ， ZHOU D Q ， FENG J S . Coordinate attention for efficient mobile network design ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ： IEEE ， 2021 ： 13708 - 13717 . doi: 10.1109/cvpr46437.2021.01350 http://dx.doi.org/10.1109/cvpr46437.2021.01350

浏览量

333

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

跨尺度自适应融合的车辆与行人检测算法

基于改进SSD的航拍飞机目标检测方法

基于注意力与特征融合的光学遥感图像飞机目标检测

基于特征融合的轻量级SSD目标检测方法