融合细节特征与混合注意力机制的火灾烟雾检测

汪睿卿; 王慧琴; 王可

doi:10.37188/CJLCD.2021-0325

您当前的位置：

首页 >

文章列表页 >

融合细节特征与混合注意力机制的火灾烟雾检测

图像处理 | 更新时间：2022-07-25

- 融合细节特征与混合注意力机制的火灾烟雾检测
- Fire smoke detection combined with detailed features and hybrid attention mechanism
- 液晶与显示 2022年37卷第7期页码：900-912
- 作者机构：
  
  西安建筑科技大学信息与控制工程学院，陕西西安 710311
- 作者简介：
  
  [ "汪睿卿（1996—），男，安徽安庆人，硕士研究生，2019于皖西学院获得学士学位，主要从事深度学习与计算机视觉等方面的研究。E-mail： wrq1216@163.com" ]
  [ "王慧琴（1970—），女，山西长治人，博士，教授，2002年于西安交通大学获得博士学位，主要从事智能信息处理、信息理论与应用、信息技术与管理、数字建筑等方面的研究。E-mail： hqwang@xauat.edu.cn" ]
- 基金信息：
  
  陕西省自然科学基础研究计划(2021JM-377);陕西省科技厅科技合作项目(2020KW-012);陕西省教育厅智库项目(18JT006);西安市科技局高校人才服务企业项目(GXYD10.1)
- DOI：10.37188/CJLCD.2021-0325
  中图分类号： TP391
- 收稿日期：2021-12-14，
  
  修回日期：2022-01-11，
  
  纸质出版日期：2022-07-05
- 稿件说明：
移动端阅览
汪睿卿, 王慧琴, 王可. 融合细节特征与混合注意力机制的火灾烟雾检测[J]. 液晶与显示, 2022,37(7):900-912.

Rui-qing WANG, Hui-qin WANG, Ke WANG. Fire smoke detection combined with detailed features and hybrid attention mechanism[J]. Chinese journal of liquid crystals and displays, 2022, 37(7): 900-912.
汪睿卿, 王慧琴, 王可. 融合细节特征与混合注意力机制的火灾烟雾检测[J]. 液晶与显示, 2022,37(7):900-912. DOI： 10.37188/CJLCD.2021-0325.

Rui-qing WANG, Hui-qin WANG, Ke WANG. Fire smoke detection combined with detailed features and hybrid attention mechanism[J]. Chinese journal of liquid crystals and displays, 2022, 37(7): 900-912. DOI： 10.37188/CJLCD.2021-0325.

摘要

针对卷积神经网络高层特征图中细节特征被削弱造成烟雾图像底层特征丢失的问题，提出一种融合细节特征与混合注意力机制的YOLOv4改进算法。设计了细节特征融合模块，将主干网络中的底层细节特征引入高层特征图，得到具有丰富多尺度信息的融合特征。在通道和空间维度上采用混合注意力机制对融合特征的图权重进行重新赋值，在增强烟雾目标特征的同时抑制无关区域特征，使烟雾特征表达具有更好的鲁棒性。实验结果表明，本文算法的平均精确率、精确率和召回率相比YOLOv4算法分别提高了4.31%，1.21%，9.86%，同时保持了较快的检测速度。本文算法能够有效提取烟雾目标的整体特征，对于复杂背景下的火灾烟雾检测任务更为适用。

Abstract

To solve the problem that the detailed features of the high-level feature map are weakened and the low-level features of the smoke image are lost， an improved YOLOv4 algorithm that combines the detailed features and the attention mechanism is proposed. The detail feature fusion module is designed， and the low-level features in backbone network are introduced into high-level features to obtain the fusion feature map with extensive multi-scale information. Then， a hybrid attention mechanism in two separate dimensions of channel and spatial is adopted， to reassign the weight of the fusion feature map. The smoke target features are enhanced the background features are suppersed， hence the proposed algorithm is robust in feature expression. The experimental results show that the average precision， precision and recall rate of the algorithm in this paper are increased by 4.31%， 1.21% and 9.86% respectively compared with the YOLOv4 algorithm， while maintaining a high detection speed. The proposed algorithm can effectively extract the overall features of smoke targets， and is suitable for smoke detection tasks in complex backgrounds.

关键词

Keywords

references

史劲亭，袁非牛，夏雪 . 视频烟雾检测研究进展［J］. 中国图象图形学报， 2018 ， 23 （ 3 ）： 303 - 322 . doi: 10.11834/jig.170439 http://dx.doi.org/10.11834/jig.170439

SHI J T ， YUAN F N ， XIA X . Video smoke detection： a literature survey ［J］. Journal of Image and Graphics ， 2018 ， 23 （ 3 ）： 303 - 322 . （in Chinese） . doi: 10.11834/jig.170439 http://dx.doi.org/10.11834/jig.170439

KIM H ， RYU D ， PARK J . Smoke detection using GMM and adaboost ［J］. International Journal of Computer and Communication Engineering ， 2014 ， 3 （ 2 ）： 123 - 126 . doi: 10.7763/ijcce.2014.v3.305 http://dx.doi.org/10.7763/ijcce.2014.v3.305

ZHAO Y Q ， ZHOU Z ， XU M M . Forest fire smoke video detection using spatiotemporal and dynamic texture features ［J］. Journal of Electrical and Computer Engineering ， 2015 ， 2015 ： 40 . doi: 10.1155/2015/706187 http://dx.doi.org/10.1155/2015/706187

WANG Y B . Smoke recognition based on machine vision ［C］// Proceedings of 2016 International Symposium on Computer， Consumer and Control . Xi'an， China ： IEEE ， 2016 ： 668 - 671 . doi: 10.1109/is3c.2016.172 http://dx.doi.org/10.1109/is3c.2016.172

YE W ， ZHAO J H ， WANG S ， et al . Dynamic texture based smoke detection using Surfacelet transform and HMT model ［J］. Fire Safety Journal ， 2015 ， 73 ： 91 - 101 . doi: 10.1016/j.firesaf.2015.03.001 http://dx.doi.org/10.1016/j.firesaf.2015.03.001

李欣健，张大胜，孙利雷，等 . 复杂场景下基于CNN的轻量火焰检测方法［J］. 模式识别与人工智能， 2021 ， 34 （ 5 ）： 415 - 422 .

LI X J ， ZHANG D S ， SUN L L ， et al . CNN-based lightweight flame detection method in complex scenes ［J］. Pattern Recognition and Artificial Intelligence ， 2021 ， 34 （ 5 ）： 415 - 422 . （in Chinese）

林景栋，吴欣怡，柴毅，等 . 卷积神经网络结构优化综述［J］. 自动化学报， 2020 ， 46 （ 1 ）： 24 - 37 .

LIN J D ， WU X Y ， CHAI Y ， et al . Structure optimization of convolutional neural networks： a survey ［J］. Acta Automatica Sinica ， 2020 ， 46 （ 1 ）： 24 - 37 . （in Chinese）

夏雪，袁非牛，章琳，等 . 从传统到深度：视觉烟雾识别、检测与分割［J］. 中国图象图形学报， 2019 ， 24 （ 10 ）： 1627 - 1647 . doi: 10.11834/jig.190230 http://dx.doi.org/10.11834/jig.190230

XIA X ， YUAN F N ， ZHANG L ， et al . From traditional methods to deep ones： review of visual smoke recognition， detection， and segmentation ［J］. Journal of Image and Graphics ， 2019 ， 24 （ 10 ）： 1627 - 1647 . （in Chinese） . doi: 10.11834/jig.190230 http://dx.doi.org/10.11834/jig.190230

TAO C Y ， ZHANG J ， WANG P . Smoke detection based on deep convolutional neural networks ［C］// Proceedings of 2016 International Conference on Industrial Informatics-Computing Technology ， Intelligent Technology， Industrial Information Integration. Wuhan ， China ： IEEE ， 2016 ： 150 - 153 . doi: 10.1109/iciicii.2016.0045 http://dx.doi.org/10.1109/iciicii.2016.0045

KRIZHEVSKY A ， SUTSKEVER I ， HINTON G E . ImageNet classification with deep convolutional neural networks ［C］// Proceedings of the 25th International Conference on Neural Information Processing Systems . Lake Tahoe ： Curran Associates Inc. ， 2012 ： 1097 - 1105 .

YIN Z J ， WAN B Y ， YUAN F N ， et al . A deep normalization and convolutional neural network for image smoke detection ［J］. IEEE Access ， 2017 ， 5 ： 18429 - 18438 . doi: 10.1109/access.2017.2747399 http://dx.doi.org/10.1109/access.2017.2747399

GU K ， XIA Z F ， QIAO J F ， et al . Deep dual-channel neural network for image-based smoke detection ［J］. IEEE Transactions on Multimedia ， 2020 ， 22 （ 2 ）： 311 - 323 . doi: 10.1109/tmm.2019.2929009 http://dx.doi.org/10.1109/tmm.2019.2929009

HE Z X ， XIE L P ， HUA B C ， et al . Joint detection of smoke and flame in photovoltaic system based on deep learning ［C］// Proceedings of 2020 Chinese Automation Congress （CAC） . Shanghai， China ： IEEE ， 2020 ： 6067 - 6071 . doi: 10.1109/cac51589.2020.9327325 http://dx.doi.org/10.1109/cac51589.2020.9327325

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

CAI W B ， WANG C Y ， HUANG H G ， et al . A real-time smoke detection model based on YOLO-SMOKE algorithm ［C］// Proceedings of 2020 Cross Strait Radio Science & Wireless Technology Conference . Fuzhou， China ： IEEE ， 2020 ： 1 - 3 . doi: 10.1109/csrswtc50769.2020.9372453 http://dx.doi.org/10.1109/csrswtc50769.2020.9372453

REDMON J ， FARHADI A . YoLOv3： an incremental improvement ［J］. arXiv ， 2018 ： 1804 .02767.

GAGLIARDI A ， DE GIOIA F ， SAPONARA S . A real-time video smoke detection algorithm based on Kalman filter and CNN ［J］. Journal of Real-Time Image Processing ， 2021 ， 18 （ 6 ）： 2085 - 2095 . doi: 10.1007/s11554-021-01094-y http://dx.doi.org/10.1007/s11554-021-01094-y

LIU W ， ANGUELOV D ， ERHAN D ， et al . SSD： single shot MultiBox detector ［C］// Proceedings of 14th European Conference on Computer Vision . Amsterdam ： Springer ， 2016 ： 21 - 37 . doi: 10.1007/978-3-319-46448-0_2 http://dx.doi.org/10.1007/978-3-319-46448-0_2

吴凡，王慧琴，王可 . 时空域深度学习火灾烟雾检测［J］. 液晶与显示， 2021 ， 36 （ 8 ）： 1186 - 1195 . doi: 10.37188/CJLCD.2020-0239 http://dx.doi.org/10.37188/CJLCD.2020-0239

WU F ， WANG H Q ， WANG K . Spatio-temporal deep learning fire smoke detection ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 8 ）： 1186 - 1195 . （in Chinese） . doi: 10.37188/CJLCD.2020-0239 http://dx.doi.org/10.37188/CJLCD.2020-0239

李红光，于若男，丁文锐 . 基于深度学习的小目标检测研究进展［J］. 航空学报， 2021 ， 42 （ 7 ）： 024691 .

LI H G ， YU R N ， DING W R . Research development of small object traching based on deep learning ［J］. Acta Aeronautica et Astronautica Sinica ， 2021 ， 42 （ 7 ）： 024691 . （in Chinese）

BOCHKOVSKIY A ， WANG C Y ， LIAO H Y M . YOLOv4： optimal speed and accuracy of object detection ［J］. arXiv ： 2004.10934 ， 2020 .

WOO S ， PARK J ， LEE J Y ， et al . CBAM： convolutional block attention module ［C］// Proceedings of the 15th European Conference on Computer Vision . Munich， Germany ： Springer ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

HE K M ， ZHANG X Y ， REN S Q ， et al . Spatial pyramid pooling in deep convolutional networks for visual recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2015 ， 37 （ 9 ）： 1904 - 1916 . doi: 10.1109/tpami.2015.2389824 http://dx.doi.org/10.1109/tpami.2015.2389824

LIU S ， QI L ， QIN H F ， et al . Path aggregation network for instance segmentation ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA ： IEEE ， 2018 ： 8759 - 8768 . doi: 10.1109/cvpr.2018.00913 http://dx.doi.org/10.1109/cvpr.2018.00913

WANG C Y ， LIAO H Y M ， WU Y H ， et al . CSPNet： a new backbone that can enhance learning capability of CNN ［C］// Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops . Seattle， WA， USA ： IEEE ， 2020 ： 1571 - 1580 . doi: 10.1109/cvprw50498.2020.00203 http://dx.doi.org/10.1109/cvprw50498.2020.00203

LIN T Y ， DOLLÁR P ， GIRSHICK R ， et al . Feature pyramid networks for object detection ［C］// Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， USA ： IEEE ， 2017 ： 936 - 944 . doi: 10.1109/cvpr.2017.106 http://dx.doi.org/10.1109/cvpr.2017.106

TAN M X ， LE Q V . EfficientNet： rethinking model scaling for convolutional neural networks ［C］// Proceedings of the 36th International Conference on Machine Learning . Long Beach， CA， USA ： PMLR ， 2019 ： 6105 - 6114 .

刘丽娟，陈松楠 . 一种基于改进SSD的烟雾实时检测模型［J］. 信阳师范学院学报（自然科学版）， 2020 ， 33 （ 2 ）： 305 - 311 .

LIU L J ， CHEN S N . Real-time smoke detection model based on improved SSD ［J］. Journal of Xinyang Normal University （Natural Science Edition）， 2020 ， 33 （ 2 ）： 305 - 311 . （in Chinese）

谢书翰，张文柱，程鹏，等 . 嵌入通道注意力的YOLOv4火灾烟雾检测模型［J］. 液晶与显示， 2021 ， 36 （ 10 ）： 1445 - 1453 .

XIE S H ， ZHANG W Z ， CHENG P ， et al . Firesmoke detection model based on YOLOv4 with channel attention ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 10 ）： 1445 - 1453 . （in Chinese）

ZHOU B L ， KHOSLA A ， LAPEDRIZA A ， et al . Learning deep features for discriminative localization ［C］// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA ： IEEE ， 2016 ： 2921 - 2929 . doi: 10.1109/cvpr.2016.319 http://dx.doi.org/10.1109/cvpr.2016.319

浏览量

569

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于边缘增强和特征融合的伪装目标分割

跨尺度自适应融合的车辆与行人检测算法

时空域深度学习火灾烟雾检测

多粒度特征融合的行人再识别研究