复杂环境下基于改进DeepSORT的行人实时稳定跟踪方法

张丽娟; 张紫薇; 姜雨彤; 李东明; 胡梦达; 刘英雪

doi:10.37188/CJLCD.2022-0350

您当前的位置：

首页 >

文章列表页 >

复杂环境下基于改进DeepSORT的行人实时稳定跟踪方法

图像处理 | 更新时间：2023-08-10

- 复杂环境下基于改进DeepSORT的行人实时稳定跟踪方法
- Stable and real-time pedestrian tracking method based on improved DeepSORT under complex background
- 液晶与显示 2023年38卷第8期页码：1128-1138
- 作者机构：
  
  1.无锡学院物联网工程学院，江苏无锡 214105
  2.长春工业大学计算机科学与工程学院，吉林长春 130012
  3.中国北方车辆研究所，北京 100072
  4.吉林农业大学信息技术学院，吉林长春 130118
- 作者简介：
  
  [ "张丽娟（1978—），女，吉林梅河口人，博士，教授，2015年于长春理工大学获得博士学位，主要从事计算机视觉及光学图像处理等方面的研究。E-mail：zhanglijuan@cwxu.edu.cn" ]
  [ "姜雨彤（1987—），女，吉林长春人，博士，副研究员，2017年于北京理工大学获得博士学位，主要从事计算机视觉、图像处理等方面的研究。E-mail：jiangyutong201@163.com" ]
- 基金信息：
  
  吉林省生态环境厅科研项目(吉环科字第2021-07号);吉林省科技发展计划重点研发项目(20210204050YY);无锡学院引进人才科研启动专项经费(2023r004;2023r006)
- DOI：10.37188/CJLCD.2022-0350
  中图分类号：
扫描看全文
张丽娟, 张紫薇, 姜雨彤, 等. 复杂环境下基于改进DeepSORT的行人实时稳定跟踪方法[J]. 液晶与显示, 2023,38(8):1128-1138.

ZHANG Li-juan, ZHANG Zi-wei, JIANG Yu-tong, et al. Stable and real-time pedestrian tracking method based on improved DeepSORT under complex background[J]. Chinese Journal of Liquid Crystals and Displays, 2023,38(8):1128-1138.
张丽娟, 张紫薇, 姜雨彤, 等. 复杂环境下基于改进DeepSORT的行人实时稳定跟踪方法[J]. 液晶与显示, 2023,38(8):1128-1138. DOI： 10.37188/CJLCD.2022-0350.

ZHANG Li-juan, ZHANG Zi-wei, JIANG Yu-tong, et al. Stable and real-time pedestrian tracking method based on improved DeepSORT under complex background[J]. Chinese Journal of Liquid Crystals and Displays, 2023,38(8):1128-1138. DOI： 10.37188/CJLCD.2022-0350.

摘要

实时多目标跟踪算法取得了理想的跟踪性能，但大多数现有算法的跟踪速度较慢，且随着背景复杂度的增加，跟踪精度也随之降低。针对此问题，本文提出了基于在线数据关联的行人实时跟踪算法。首先，设计了核相关滤波和卡尔曼滤波双轨道预测机制，配合DeepSORT中的级联匹配形成了预测-跟踪-校准体系，使数据关联更加可靠。此外，在目标检测部分引入了注意力机制，通过强化目标对象的位置信息增强特征表示能力，从而提升跟踪的精度。该模型在MOT16数据集上的MOTA达到了66.5%、IDF1达到了64.2%、IDSW达到了641。与DeepSORT算法对比，MOTA和IDF1分别提升了13%和13.2%，IDSW下降了410。本文算法有助于解决行人实时跟踪时出现的目标误检、漏检等问题，在跟踪中对严重遮挡情况仍保持了较高的跟踪精度，在复杂环境下可以实现行人实时稳定跟踪。

Abstract

The real-time multiple object tracking algorithms have achieved ideal tracking performance， but the tracking speed is slow，and tracking accuracy is also decreased with the increase of background complexity in most of the recent algorithms. In terms of these issues， a real-time multiple pedestrian tracking algorithm is proposed based on online data association. First of all， the dual prediction mechanism of kernelized correlation filter and Kalman filter is designed. This mechanism forms a prediction tracking calibration system with the cascade matching in DeepSORT， which makes the data correlation more reliable. In addition， the attention mechanism is introduced in the object detection part of tracking to enhance feature representation ability by strengthening position information of the object， so as to improve racking accuracy.The experiment is carried out on MOT16 dataset， the MOTA is up to 66.5%， IDF1 is up to 64.2， IDSW is 641. Compared with DeepSORT algorithm， MOTA and IDF1 increase 13% and 13.2% respectively， and IDSW decreases 410.Experimental results show that the proposed algorithm is helpful to solve the problem of object false detection， missing detection and other problems in multiple pedestrian real-time tracking. It still maintains high tracking accuracy for severe occlusion in tracking， which can achieve real-time and stable multiple pedestrian tracking in complex background.

关键词

多目标跟踪实时跟踪YOLOv5核相关滤波算法DeepSORT

Keywords

multiple object trackingonline trackingYOLOv5kernelized correlation filtersDeepSORT

references

CIAPARRONE G， SÁNCHEZ F L S， TABIK S， et al. Deep learning in video multi-object tracking： a survey ［J］. Neurocomputing， 2020， 381： 61-88. doi: 10.1016/j.neucom.2019.11.023http://dx.doi.org/10.1016/j.neucom.2019.11.023

LUO Y， ZHAO Y F， LI J X， et al. Computational imaging without a computer： seeing through random diffusers at the speed of light ［J］. eLight， 2022， 2： 4. doi: 10.1186/s43593-022-00012-4http://dx.doi.org/10.1186/s43593-022-00012-4

REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks ［J/OL］. arXiv， 2016： 1506.011497. doi: 10.1109/tpami.2016.2577031http://dx.doi.org/10.1109/tpami.2016.2577031

REDMON J， FARHADI A. YOLOv3： an incremental improvement ［J/OL］. arXiv， 2018：1804.02767. doi: 10.1109/cvpr.2017.690http://dx.doi.org/10.1109/cvpr.2017.690

LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot MultiBox detector ［C］//Proceedings of the 14th European Conference on Computer Vision. Amsterdam： Springer， 2016： 21-37. doi: 10.1007/978-3-319-46448-0_2http://dx.doi.org/10.1007/978-3-319-46448-0_2

BEWLEY A， GE Z Y， OTT L， et al. Simple online and realtime tracking ［C］. 2016 IEEE International Conference on Image Processing （ICIP）. Phoenix： IEEE， 2016： 3464-3468. doi: 10.1109/icip.2016.7533003http://dx.doi.org/10.1109/icip.2016.7533003

WOJKE N， BEWLEY A， PAULUS D. Simple online and realtime tracking with a deep association metric ［C］. 2017 IEEE International Conference on Image Processing （ICIP）. Beijing： IEEE， 2017： 3645-3649. doi: 10.1109/icip.2017.8296962http://dx.doi.org/10.1109/icip.2017.8296962

BOLME D S， BEVERIDGE J R， DRAPER B A， et al. Visual object tracking using adaptive correlation filters ［C］. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco： IEEE， 2010： 2544-2550. doi: 10.1109/cvpr.2010.5539960http://dx.doi.org/10.1109/cvpr.2010.5539960

HENRIQUES J F， CASEIRO R， MARTINS P， et al. High-speed tracking with kernelized correlation filters ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（3）： 583-596. doi: 10.1109/tpami.2014.2345390http://dx.doi.org/10.1109/tpami.2014.2345390

李国友，张凤煦，纪执安. 自适应多滤波器的高效卷积算子目标跟踪算法［J］. 光电工程，2020，47（7）：190510. doi: 10.12086/oee.2020.190510http://dx.doi.org/10.12086/oee.2020.190510

LI G Y， ZHANG F X， JI Z A. Adaptive multi-filter tracker based on efficient convolution operator ［J］. Opto-Electronic Engineering， 2020， 47（7）： 190510. （in Chinese）. doi: 10.12086/oee.2020.190510http://dx.doi.org/10.12086/oee.2020.190510

ZUO C， QIAN J， FENG S J， et al. Deep learning in optical metrology： a review ［J］. Light： Science & Applications， 2022， 11（1）： 39. doi: 10.1038/s41377-022-00714-xhttp://dx.doi.org/10.1038/s41377-022-00714-x

SITU G H. Deep holography［J］. Light： Advanced Manufacturing， 2022， 3（2）： 278-300. doi: 10.37188/lam.2022.013http://dx.doi.org/10.37188/lam.2022.013

BERGMANN P， MEINHARDT T， LEAL-TAIXÉ L. Tracking without bells and whistles ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul： IEEE， 2019： 941-951. doi: 10.1109/iccv.2019.00103http://dx.doi.org/10.1109/iccv.2019.00103

贺愉婷，车进，吴金蔓. 基于YOLOv5和重识别的行人多目标跟踪方法［J］. 液晶与显示，2022，37（7）：880-890． doi: 10.37188/CJLCD.2022-0025http://dx.doi.org/10.37188/CJLCD.2022-0025

HE Y T， CHE J， WU J M. Pedestrian multi-target tracking method based on YOLOv5 and person re-identification ［J］. Chinese Journal of Liquid Crystals and Displays， 2022， 37（7）： 880-890. （in Chinese）. doi: 10.37188/CJLCD.2022-0025http://dx.doi.org/10.37188/CJLCD.2022-0025

席一帆，何立明，吕悦. 基于改进Fairmot框架的多目标跟踪［J］. 液晶与显示，2022，37（6）：777-785． doi: 10.37188/cjlcd.2021-0304http://dx.doi.org/10.37188/cjlcd.2021-0304

XI Y F， HE L M， LV Y. Multi-object tracking based on improved Fairmot framework ［J］. Chinese Journal of Liquid Crystals and Displays， 2022， 37（6）： 777-785. （in Chinese）. doi: 10.37188/cjlcd.2021-0304http://dx.doi.org/10.37188/cjlcd.2021-0304

何雪东，周盛宗. 快速尺度自适应核相关滤波目标跟踪算法［J］. 激光与光电子学进展，2018，55（12）：121501． doi: 10.3788/lop55.121501http://dx.doi.org/10.3788/lop55.121501

HE X D， ZHOU S Z. Fast scale adaptive kernel correlation filtering algorithm for target tracking ［J］. Laser & Optoelectronics Progress， 2018， 55（12）： 121501. （in Chinese）. doi: 10.3788/lop55.121501http://dx.doi.org/10.3788/lop55.121501

HOU Q B， ZHOU D Q， FENG J S. Coordinate attention for efficient mobile network design ［C］.2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville： IEEE， 2021： 13708-13717. doi: 10.1109/cvpr46437.2021.01350http://dx.doi.org/10.1109/cvpr46437.2021.01350

SHAO S， ZHAO Z J， LI B X， et al. CrowdHuman： a benchmark for detecting human in a crowd ［J/OL］. arXiv， 2018：1805.00123.

ZHENG L， SHEN L， TIAN L， et al. Person re-identification meets image search ［J］. Computer Science， 2015： 1-1. doi: 10.1109/iccv.2015.133http://dx.doi.org/10.1109/iccv.2015.133

STONE R. CenterTrack： an IP overlay network for tracking DoS floods ［C］//Proceedings of the 9th USENIX Security Symposium. Denver： USENIX Association， 2000.

XU Y H， ŜEP A， BAN Y T， et al. How to train your deep multi-object tracker ［C］.2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle： IEEE， 2020： 6786-6795. doi: 10.1109/cvpr42600.2020.00682http://dx.doi.org/10.1109/cvpr42600.2020.00682

PANG B， LI Y Z， ZHANG Y F， et al. TubeTK： adopting tubes to track multi-object in a one-step training model ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle： IEEE， 2020： 6307-6317. doi: 10.1109/cvpr42600.2020.00634http://dx.doi.org/10.1109/cvpr42600.2020.00634

ZHAN Y F， WANG C Y， WANG X G， et al. A simple baseline for multi-object tracking ［J/OL］. arXiv， 2020：2004.01888.

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

复杂纹理背景下的密集骨签文字检测算法

改进的轻量级安全帽佩戴检测算法

改进YOLOv5s的道路目标检测算法