Fire smoke detection combined with detailed features and hybrid attention mechanism

Rui-qing WANG; Hui-qin WANG; Ke WANG

doi:10.37188/CJLCD.2021-0325

您当前的位置：

首页 >

文章列表页 >

Fire smoke detection combined with detailed features and hybrid attention mechanism

Image Processing | 更新时间：2022-07-25

- Fire smoke detection combined with detailed features and hybrid attention mechanism
- Chinese Journal of Liquid Crystals and Displays Vol. 37, Issue 7, Pages: 900-912(2022)
- 作者机构：
  
  西安建筑科技大学信息与控制工程学院，陕西西安 710311
- 作者简介：
- 基金信息：
  
  Shaanxi Provincial Natural Science Basic Research Plan Project(2021JM-377);science and technology cooperation project of Shaanxi Provincial Department of science and Technology(2020KW-012);Think Tank Project of Shaanxi Provincial Department of Education(18JT006);university talent service enterprise project of Xi'an Science and Technology Bureau(GXYD10.1)
- DOI：10.37188/CJLCD.2021-0325
  CLC： TP391
- Received：14 December 2021，
  
  Revised：11 January 2022，
  
  Published：05 July 2022
- 稿件说明：
移动端阅览
Rui-qing WANG, Hui-qin WANG, Ke WANG. Fire smoke detection combined with detailed features and hybrid attention mechanism[J]. Chinese journal of liquid crystals and displays, 2022, 37(7): 900-912.
DOI：

Rui-qing WANG, Hui-qin WANG, Ke WANG. Fire smoke detection combined with detailed features and hybrid attention mechanism[J]. Chinese journal of liquid crystals and displays, 2022, 37(7): 900-912. DOI： 10.37188/CJLCD.2021-0325.

摘要

针对卷积神经网络高层特征图中细节特征被削弱造成烟雾图像底层特征丢失的问题，提出一种融合细节特征与混合注意力机制的YOLOv4改进算法。设计了细节特征融合模块，将主干网络中的底层细节特征引入高层特征图，得到具有丰富多尺度信息的融合特征。在通道和空间维度上采用混合注意力机制对融合特征的图权重进行重新赋值，在增强烟雾目标特征的同时抑制无关区域特征，使烟雾特征表达具有更好的鲁棒性。实验结果表明，本文算法的平均精确率、精确率和召回率相比YOLOv4算法分别提高了4.31%，1.21%，9.86%，同时保持了较快的检测速度。本文算法能够有效提取烟雾目标的整体特征，对于复杂背景下的火灾烟雾检测任务更为适用。

Abstract

To solve the problem that the detailed features of the high-level feature map are weakened and the low-level features of the smoke image are lost， an improved YOLOv4 algorithm that combines the detailed features and the attention mechanism is proposed. The detail feature fusion module is designed， and the low-level features in backbone network are introduced into high-level features to obtain the fusion feature map with extensive multi-scale information. Then， a hybrid attention mechanism in two separate dimensions of channel and spatial is adopted， to reassign the weight of the fusion feature map. The smoke target features are enhanced the background features are suppersed， hence the proposed algorithm is robust in feature expression. The experimental results show that the average precision， precision and recall rate of the algorithm in this paper are increased by 4.31%， 1.21% and 9.86% respectively compared with the YOLOv4 algorithm， while maintaining a high detection speed. The proposed algorithm can effectively extract the overall features of smoke targets， and is suitable for smoke detection tasks in complex backgrounds.

关键词

Keywords

references

史劲亭，袁非牛，夏雪 . 视频烟雾检测研究进展［J］. 中国图象图形学报， 2018 ， 23 （ 3 ）： 303 - 322 . doi: 10.11834/jig.170439 http://dx.doi.org/10.11834/jig.170439

SHI J T ， YUAN F N ， XIA X . Video smoke detection： a literature survey ［J］. Journal of Image and Graphics ， 2018 ， 23 （ 3 ）： 303 - 322 . （in Chinese） . doi: 10.11834/jig.170439 http://dx.doi.org/10.11834/jig.170439

KIM H ， RYU D ， PARK J . Smoke detection using GMM and adaboost ［J］. International Journal of Computer and Communication Engineering ， 2014 ， 3 （ 2 ）： 123 - 126 . doi: 10.7763/ijcce.2014.v3.305 http://dx.doi.org/10.7763/ijcce.2014.v3.305

ZHAO Y Q ， ZHOU Z ， XU M M . Forest fire smoke video detection using spatiotemporal and dynamic texture features ［J］. Journal of Electrical and Computer Engineering ， 2015 ， 2015 ： 40 . doi: 10.1155/2015/706187 http://dx.doi.org/10.1155/2015/706187

WANG Y B . Smoke recognition based on machine vision ［C］// Proceedings of 2016 International Symposium on Computer， Consumer and Control . Xi'an， China ： IEEE ， 2016 ： 668 - 671 . doi: 10.1109/is3c.2016.172 http://dx.doi.org/10.1109/is3c.2016.172

YE W ， ZHAO J H ， WANG S ， et al . Dynamic texture based smoke detection using Surfacelet transform and HMT model ［J］. Fire Safety Journal ， 2015 ， 73 ： 91 - 101 . doi: 10.1016/j.firesaf.2015.03.001 http://dx.doi.org/10.1016/j.firesaf.2015.03.001

李欣健，张大胜，孙利雷，等 . 复杂场景下基于CNN的轻量火焰检测方法［J］. 模式识别与人工智能， 2021 ， 34 （ 5 ）： 415 - 422 .

LI X J ， ZHANG D S ， SUN L L ， et al . CNN-based lightweight flame detection method in complex scenes ［J］. Pattern Recognition and Artificial Intelligence ， 2021 ， 34 （ 5 ）： 415 - 422 . （in Chinese）

林景栋，吴欣怡，柴毅，等 . 卷积神经网络结构优化综述［J］. 自动化学报， 2020 ， 46 （ 1 ）： 24 - 37 .

LIN J D ， WU X Y ， CHAI Y ， et al . Structure optimization of convolutional neural networks： a survey ［J］. Acta Automatica Sinica ， 2020 ， 46 （ 1 ）： 24 - 37 . （in Chinese）

夏雪，袁非牛，章琳，等 . 从传统到深度：视觉烟雾识别、检测与分割［J］. 中国图象图形学报， 2019 ， 24 （ 10 ）： 1627 - 1647 . doi: 10.11834/jig.190230 http://dx.doi.org/10.11834/jig.190230

XIA X ， YUAN F N ， ZHANG L ， et al . From traditional methods to deep ones： review of visual smoke recognition， detection， and segmentation ［J］. Journal of Image and Graphics ， 2019 ， 24 （ 10 ）： 1627 - 1647 . （in Chinese） . doi: 10.11834/jig.190230 http://dx.doi.org/10.11834/jig.190230

TAO C Y ， ZHANG J ， WANG P . Smoke detection based on deep convolutional neural networks ［C］// Proceedings of 2016 International Conference on Industrial Informatics-Computing Technology ， Intelligent Technology， Industrial Information Integration. Wuhan ， China ： IEEE ， 2016 ： 150 - 153 . doi: 10.1109/iciicii.2016.0045 http://dx.doi.org/10.1109/iciicii.2016.0045

KRIZHEVSKY A ， SUTSKEVER I ， HINTON G E . ImageNet classification with deep convolutional neural networks ［C］// Proceedings of the 25th International Conference on Neural Information Processing Systems . Lake Tahoe ： Curran Associates Inc. ， 2012 ： 1097 - 1105 .

YIN Z J ， WAN B Y ， YUAN F N ， et al . A deep normalization and convolutional neural network for image smoke detection ［J］. IEEE Access ， 2017 ， 5 ： 18429 - 18438 . doi: 10.1109/access.2017.2747399 http://dx.doi.org/10.1109/access.2017.2747399

GU K ， XIA Z F ， QIAO J F ， et al . Deep dual-channel neural network for image-based smoke detection ［J］. IEEE Transactions on Multimedia ， 2020 ， 22 （ 2 ）： 311 - 323 . doi: 10.1109/tmm.2019.2929009 http://dx.doi.org/10.1109/tmm.2019.2929009

HE Z X ， XIE L P ， HUA B C ， et al . Joint detection of smoke and flame in photovoltaic system based on deep learning ［C］// Proceedings of 2020 Chinese Automation Congress （CAC） . Shanghai， China ： IEEE ， 2020 ： 6067 - 6071 . doi: 10.1109/cac51589.2020.9327325 http://dx.doi.org/10.1109/cac51589.2020.9327325

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

CAI W B ， WANG C Y ， HUANG H G ， et al . A real-time smoke detection model based on YOLO-SMOKE algorithm ［C］// Proceedings of 2020 Cross Strait Radio Science & Wireless Technology Conference . Fuzhou， China ： IEEE ， 2020 ： 1 - 3 . doi: 10.1109/csrswtc50769.2020.9372453 http://dx.doi.org/10.1109/csrswtc50769.2020.9372453

REDMON J ， FARHADI A . YoLOv3： an incremental improvement ［J］. arXiv ， 2018 ： 1804 .02767.

GAGLIARDI A ， DE GIOIA F ， SAPONARA S . A real-time video smoke detection algorithm based on Kalman filter and CNN ［J］. Journal of Real-Time Image Processing ， 2021 ， 18 （ 6 ）： 2085 - 2095 . doi: 10.1007/s11554-021-01094-y http://dx.doi.org/10.1007/s11554-021-01094-y

LIU W ， ANGUELOV D ， ERHAN D ， et al . SSD： single shot MultiBox detector ［C］// Proceedings of 14th European Conference on Computer Vision . Amsterdam ： Springer ， 2016 ： 21 - 37 . doi: 10.1007/978-3-319-46448-0_2 http://dx.doi.org/10.1007/978-3-319-46448-0_2

吴凡，王慧琴，王可 . 时空域深度学习火灾烟雾检测［J］. 液晶与显示， 2021 ， 36 （ 8 ）： 1186 - 1195 . doi: 10.37188/CJLCD.2020-0239 http://dx.doi.org/10.37188/CJLCD.2020-0239

WU F ， WANG H Q ， WANG K . Spatio-temporal deep learning fire smoke detection ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 8 ）： 1186 - 1195 . （in Chinese） . doi: 10.37188/CJLCD.2020-0239 http://dx.doi.org/10.37188/CJLCD.2020-0239

李红光，于若男，丁文锐 . 基于深度学习的小目标检测研究进展［J］. 航空学报， 2021 ， 42 （ 7 ）： 024691 .

LI H G ， YU R N ， DING W R . Research development of small object traching based on deep learning ［J］. Acta Aeronautica et Astronautica Sinica ， 2021 ， 42 （ 7 ）： 024691 . （in Chinese）

BOCHKOVSKIY A ， WANG C Y ， LIAO H Y M . YOLOv4： optimal speed and accuracy of object detection ［J］. arXiv ： 2004.10934 ， 2020 .

WOO S ， PARK J ， LEE J Y ， et al . CBAM： convolutional block attention module ［C］// Proceedings of the 15th European Conference on Computer Vision . Munich， Germany ： Springer ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

HE K M ， ZHANG X Y ， REN S Q ， et al . Spatial pyramid pooling in deep convolutional networks for visual recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2015 ， 37 （ 9 ）： 1904 - 1916 . doi: 10.1109/tpami.2015.2389824 http://dx.doi.org/10.1109/tpami.2015.2389824

LIU S ， QI L ， QIN H F ， et al . Path aggregation network for instance segmentation ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， UT， USA ： IEEE ， 2018 ： 8759 - 8768 . doi: 10.1109/cvpr.2018.00913 http://dx.doi.org/10.1109/cvpr.2018.00913

WANG C Y ， LIAO H Y M ， WU Y H ， et al . CSPNet： a new backbone that can enhance learning capability of CNN ［C］// Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops . Seattle， WA， USA ： IEEE ， 2020 ： 1571 - 1580 . doi: 10.1109/cvprw50498.2020.00203 http://dx.doi.org/10.1109/cvprw50498.2020.00203

LIN T Y ， DOLLÁR P ， GIRSHICK R ， et al . Feature pyramid networks for object detection ［C］// Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， USA ： IEEE ， 2017 ： 936 - 944 . doi: 10.1109/cvpr.2017.106 http://dx.doi.org/10.1109/cvpr.2017.106

TAN M X ， LE Q V . EfficientNet： rethinking model scaling for convolutional neural networks ［C］// Proceedings of the 36th International Conference on Machine Learning . Long Beach， CA， USA ： PMLR ， 2019 ： 6105 - 6114 .

刘丽娟，陈松楠 . 一种基于改进SSD的烟雾实时检测模型［J］. 信阳师范学院学报（自然科学版）， 2020 ， 33 （ 2 ）： 305 - 311 .

LIU L J ， CHEN S N . Real-time smoke detection model based on improved SSD ［J］. Journal of Xinyang Normal University （Natural Science Edition）， 2020 ， 33 （ 2 ）： 305 - 311 . （in Chinese）

谢书翰，张文柱，程鹏，等 . 嵌入通道注意力的YOLOv4火灾烟雾检测模型［J］. 液晶与显示， 2021 ， 36 （ 10 ）： 1445 - 1453 .

XIE S H ， ZHANG W Z ， CHENG P ， et al . Firesmoke detection model based on YOLOv4 with channel attention ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 10 ）： 1445 - 1453 . （in Chinese）

ZHOU B L ， KHOSLA A ， LAPEDRIZA A ， et al . Learning deep features for discriminative localization ［C］// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA ： IEEE ， 2016 ： 2921 - 2929 . doi: 10.1109/cvpr.2016.319 http://dx.doi.org/10.1109/cvpr.2016.319

Views

569

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Camouflaged object segmentation based on edge enhancement and feature fusion

Attention and cross-scale fusion for vehicle and pedestrian detection

Spatio-temporal deep learning fire smoke detection

Multi-granularity feature fusion for person re-identification

Related Author

WANG Rui-qing

WANG Hui-qin

WANG Ke

LI Mingyan

WU Chuan

ZHU Ming

LI Jian-dong

LI Jia-qi

Related Institution

Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences

University of Chinese Academy of Sciences

College of Software， Liaoning Technical University

College of Mining， Liaoning Technical University

College of Information and Control Engineering, Xi'an University of Architecture and Technology

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰