Infrared dim-small target detection under complex background based on attention mechanism

LIU Ying; SUN Hai-jiang; ZHAO Yong-xian

doi:10.37188/CJLCD.2023-0030

您当前的位置：

首页 >

文章列表页 >

Infrared dim-small target detection under complex background based on attention mechanism

Object Detection and Recognition | 更新时间：2023-11-03

- Infrared dim-small target detection under complex background based on attention mechanism
- Chinese Journal of Liquid Crystals and Displays Vol. 38, Issue 11, Pages: 1455-1467(2023)
- 作者机构：
  
  1.中国科学院长春光学精密机械与物理研究所，吉林长春 130033
  2.中国科学院大学，北京 100049
- 作者简介：
- 基金信息：
  
  Jilin Province Science and Technology Development Plan(20200404155YY;20200401091GX)
- DOI：10.37188/CJLCD.2023-0030
  CLC： TP391
- Received：06 January 2023，
  
  Revised：06 February 2023，
  
  Published：05 November 2023
- 稿件说明：
移动端阅览
LIU Ying, SUN Hai-jiang, ZHAO Yong-xian. Infrared dim-small target detection under complex background based on attention mechanism[J]. Chinese journal of liquid crystals and displays, 2023, 38(11): 1455-1467.
DOI：

LIU Ying, SUN Hai-jiang, ZHAO Yong-xian. Infrared dim-small target detection under complex background based on attention mechanism[J]. Chinese journal of liquid crystals and displays, 2023, 38(11): 1455-1467. DOI： 10.37188/CJLCD.2023-0030.

摘要

针对复杂场景下红外图像中弱小目标像素占比少、特征细节不明显致使目标特征提取困难、检测准确率低的问题，提出了一种基于注意力机制的复杂背景下红外弱小目标检测方法。该方法以YOLOv5网络为基础，设计SimAMC3注意力机制模块，优化网络的特征提取层；设计目标检测头，通过增加特征融合层来改变其开始进行特征提取的深度，获得新的弱小目标检测层，使浅层特征层更好地保留弱小目标的空间信息；改进预测框筛选方式，提高距离相近或重叠目标的检测精度。实验选取了两个SIRST红外弱小目标图像数据集，对其进行标注并训练。实验结果表明，改进后的算法与原YOLOv5算法相比，平均精度均值（mAP）分别提升了4.8%和7.1%，在不同复杂背景下均可有效检测出红外弱小目标，体现了良好的鲁棒性和适应性，可以有效应用于复杂背景中的红外弱小目标检测。

Abstract

The small target in infrared images has fewer pixels and lack of obvious feature details in complex scenes， which make it difficult to extract target features and usually has low detection accuracy. This paper proposes an infrared small target detection method based on attention mechanism under complex background. Based on YOLOv5 （You Only Look Once） network， SimAMC3 attention mechanism module is designed to optimize the feature extraction layer of the network. The target detection head is designed by adding a feature fusion layer to change the depth of feature extraction， a new weak target detection layer can be obtained， so that the shallow feature layer can better retain the spatial information of the weak target. Finally， the screening method of prediction box is improved to increase the detection accuracy of objects with close distance or overlapping. In the experiment， two SIRST infrared dim-small target image datasets are selected to label and train them. The experimental results show that compared with the original YOLOv5 algorithm， the improved algorithm improves the mean average accuracy （mAP） by 4.8% and 7.1%. It can effectively detect infrared dim-small targets under different complex backgrounds， reflecting good robustness and adaptability， so it can be effectively applied to detect infrared dim-small target.

关键词

Keywords

references

ZHANG W ， CONG M Y ， WANG L P . Algorithms for optical weak small targets detection and tracking ［C］. International Conference on Neural Networks and Signal Processing ， 2003 . Nanjing ： IEEE ， 2003： 643 - 647 . doi: 10.1109/icnnsp.2003.1279357 http://dx.doi.org/10.1109/icnnsp.2003.1279357

杨昳，徐长彬，马玉莹，等 . 低信噪比下的红外弱小目标检测算法研究综述［J］. 激光与红外， 2019 ， 49 （ 6 ）： 643 - 649 ． doi: 10.3969/j.issn.1001-5078.2019.06.001 http://dx.doi.org/10.3969/j.issn.1001-5078.2019.06.001

YANG Y ， XU C B ， MA Y Y ， et al . A review of infrared dim small target detection algorithms with low SNR ［J］. Laser & Infrared ， 2019 ， 49 （ 6 ）： 643 - 649 . （in Chinese） . doi: 10.3969/j.issn.1001-5078.2019.06.001 http://dx.doi.org/10.3969/j.issn.1001-5078.2019.06.001

赵鹏鹏，李庶中，李迅，等 . 融合视觉显著性和局部熵的红外弱小目标检测［J］. 中国光学， 2022 ， 15 （ 2 ）： 267 - 275 ． doi: 10.37188/co.2021-0170 http://dx.doi.org/10.37188/co.2021-0170

ZHAO P P ， LI S Z ， LI X ， et al . Infrared dim small target detection based on visual saliency and local entropy ［J］. Chinese Optics ， 2022 ， 15 （ 2 ）： 267 - 275 . （in Chinese） . doi: 10.37188/co.2021-0170 http://dx.doi.org/10.37188/co.2021-0170

吴言枫，王延杰，孙海江，等 . 复杂动背景下的“低小慢”目标检测技术［J］. 中国光学， 2019 ， 12 （ 4 ）： 853 - 865 ． doi: 10.3788/co.20191204.0853 http://dx.doi.org/10.3788/co.20191204.0853

WU Y F ， WANG Y J ， SUN H J ， et al . LSS-target detection in complex sky backgrounds ［J］. Chinese Optics ， 2019 ， 12 （ 4 ）： 853 - 865 . （in Chinese） . doi: 10.3788/co.20191204.0853 http://dx.doi.org/10.3788/co.20191204.0853

DAI Y M ， WU Y Q ， ZHOU F ， et al . Attentional local contrast networks for infrared small target detection ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2021 ， 59 （ 11 ）： 9813 - 9824 . doi: 10.1109/tgrs.2020.3044958 http://dx.doi.org/10.1109/tgrs.2020.3044958

侯旺，孙晓亮，尚洋，等 . 红外弱小目标检测技术研究现状与发展趋势［J］. 红外技术， 2015 ， 37 （ 1 ）： 1 - 10 ． doi: 10.11846/j.issn.1001_8891.201501001 http://dx.doi.org/10.11846/j.issn.1001_8891.201501001

HOU W ， SUN X L ， SHANG Y ， et al . Present state and perspectives of small infrared targets detection technology ［J］. Infrared Technology ， 2015 ， 37 （ 1 ）： 1 - 10 . （in Chinese） . doi: 10.11846/j.issn.1001_8891.201501001 http://dx.doi.org/10.11846/j.issn.1001_8891.201501001

ZUO C ， QIAN J M ， FENG S J ， et al . Deep learning in optical metrology： a review ［J］. Light： Science &Applications ， 2022 ， 11 （ 1 ）： 39 . doi: 10.1038/s41377-022-00714-x http://dx.doi.org/10.1038/s41377-022-00714-x

SITU G H . Deep holography ［J］. Light： Advanced Manufacturing ， 2022 ， 3 （ 2 ）： 278 - 300 . doi: 10.37188/lam.2022.013 http://dx.doi.org/10.37188/lam.2022.013

GIRSHICK R ， DONAHUE J ， DARRELL T ， et al . Rich feature hierarchies for accurate object detection and semantic segmentation ［C］// Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition . Columbus ： IEEE ， 2014 ： 580 - 587 . doi: 10.1109/cvpr.2014.81 http://dx.doi.org/10.1109/cvpr.2014.81

GIRSHICK R . Fast R-CNN ［C］// Proceedings of 2015 IEEE International Conference on Computer Vision （ICCV） . Santiago ： IEEE ， 2015 ： 1440 - 1448 . doi: 10.1109/iccv.2015.169 http://dx.doi.org/10.1109/iccv.2015.169

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031

LIU W ， ANGUELOV D ， ERHAN D ， et al . SSD： Single shot MultiBox detector ［C］// Proceedings of the 14th European Conference on Computer Vision . Amsterdam ： Springer ， 2016 ： 21 - 37 . doi: 10.1007/978-3-319-46448-0_2 http://dx.doi.org/10.1007/978-3-319-46448-0_2

REDMON J ， DIVVALA S ， GIRSHICK R ， et al . You only look once： unified， real-time object detection ［C］// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 779 - 788 . doi: 10.1109/cvpr.2016.91 http://dx.doi.org/10.1109/cvpr.2016.91

REDMON J ， FARHADI A . YOLO9000： better， faster， stronger ［C］// Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Honolulu ： IEEE ， 2017 ： 6517 - 6525 . doi: 10.1109/cvpr.2017.690 http://dx.doi.org/10.1109/cvpr.2017.690

REDMON J ， FARHADI A . YOLOv3： an incremental improvement ［J/OL］. arXiv ， 2018 ： 1804 . 02767 . doi: 10.1109/cvpr.2017.690 http://dx.doi.org/10.1109/cvpr.2017.690

WU T H ， WANG T W ， LIU Y Q . Real-time vehicle and distance detection based on improved YOLO v5 network ［C］. 2021 3rd World Symposium on Artificial Intelligence （WSAI）. Guangzhou ： IEEE ， 2021 ： 24 - 28 . doi: 10.1109/wsai51899.2021.9486316 http://dx.doi.org/10.1109/wsai51899.2021.9486316

SONG X Y ， GU W . Multi-objective real-time vehicle detection method based on YOLOv5 ［C］. 2021 International Symposium on Artificial Intelligence and its Application on Media （ISAIAM） . Xi'an ： IEEE ， 2021 ： 142 - 145 . doi: 10.1109/isaiam53259.2021.00037 http://dx.doi.org/10.1109/isaiam53259.2021.00037

黄龙飞 . 上下文信息在目标检测算法中的应用［J］. 电子世界， 2020 （ 2 ）： 43 - 44 ．

HUANG L F . Application of context information in target detection algorithm ［J］. Electronics World ， 2020 （ 2 ）： 43 - 44 . （in Chinese）

ZHENG Z H ， WANG P ， LIU W ， et al . Distance-IoU loss： faster and better learning for bounding box regression ［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence . New York ： AAAI ， 2020 ： 12993 - 13000 . doi: 10.1609/aaai.v34i07.6999 http://dx.doi.org/10.1609/aaai.v34i07.6999

YANG L X ， ZHANG R Y ， LI L D ， et al . SimAM： a simple， parameter-free attention module for convolutional neural networks ［C］// Proceedings of the 38th International Conference on Machine Learning . PMLR ， 2021 ： 11863 - 11874 . doi: 10.1007/978-3-030-86362-3_14 http://dx.doi.org/10.1007/978-3-030-86362-3_14

WEBB B S ， DHRUV N T ， SOLOMON S G ， et al . Early and late mechanisms of surround suppression in striate cortex of macaque ［J］. Journal of Neuroscience ， 2005 ， 25 （ 50 ）： 11666 - 11675 . doi: 10.1523/jneurosci.3414-05.2005 http://dx.doi.org/10.1523/jneurosci.3414-05.2005

DAI Y M ， WU Y Q ， ZHOU F ， et al . Asymmetric contextual modulation for infrared small target detection ［C］// Proceedings of the 2021 IEEE Winter Conference on Applications of Computer Vision （WACV） . Waikoloa ： IEEE ， 2021 ： 949 - 958 . doi: 10.1109/wacv48630.2021.00099 http://dx.doi.org/10.1109/wacv48630.2021.00099

LI B Y ， XIAO C ， WANG L G ， et al . Dense nested attention network for infrared small target detection ［J］. IEEE Transactions on Image Processing ， 2023 ， 32 ： 1745 - 1758 . doi: 10.1109/tip.2022.3199107 http://dx.doi.org/10.1109/tip.2022.3199107

CHEN C L P ， LI H ， WEI Y T ， et al . A local contrast method for small infrared target detection ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2014 ， 52 （ 1 ）： 574 - 581 . doi: 10.1109/tgrs.2013.2242477 http://dx.doi.org/10.1109/tgrs.2013.2242477

GAO C Q ， MENG D Y ， WANG Y T ， et al . Infrared patch-image model for small target detection in a single image ［J］. IEEE Transactions on Image Processing ， 2013 ， 22 （ 12 ）： 4996 - 5009 . doi: 10.1109/tip.2013.2281420 http://dx.doi.org/10.1109/tip.2013.2281420

Views

177

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Remote sensing scene classification model based on improved ShuffleNetV2 network

Lens-free adversarial encoded imaging method based on convolutional attention mechanism

HDR image processing algorithm for portrait based on multi feature fusion

Detection and segmentation method of surgical instruments based on improved YOLOv5s

Related Author

XU Huiwen

ZHAO Weichao

LI Ze

WANG Hailun

WANG Yueke

WU Chunlin

ZHANG Yongai

LIN Zhixian

Related Institution

Digital Center， Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences

Optica Information Science and Technology Department， Jiangnan University

School of Advanced Manufacturing， Fuzhou University

School of Physics and Information Engineering， Fuzhou University

Graduate School of Information Science and Technology， University of Tokyo

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰