基于改进Fairmot框架的多目标跟踪

席一帆; 何立明; 吕悦

doi:10.37188/CJLCD.2021-0304

您当前的位置：

首页 >

文章列表页 >

基于改进Fairmot框架的多目标跟踪

图像处理 | 更新时间：2022-06-06

- 基于改进Fairmot框架的多目标跟踪
- Multi-object tracking based on improved Fairmot framework
- 液晶与显示 2022年37卷第6期页码：777-785
- 作者机构：
  
  长安大学信息工程学院，陕西西安 7100064
- 作者简介：
  
  [ "席一帆（1995—），男，山西运城人，硕士研究生，2018年于太原科技大学获得学士学位，主要从事目标检测和多目标跟踪研究。E-mail： 15735169750@163.com" ]
- 基金信息：
- DOI：10.37188/CJLCD.2021-0304
  中图分类号： TP391
- 收稿日期：2021-11-27，
  
  修回日期：2021-12-27，
  
  纸质出版日期：2022-06-05
- 稿件说明：
移动端阅览
席一帆, 何立明, 吕悦. 基于改进Fairmot框架的多目标跟踪[J]. 液晶与显示, 2022,37(6):777-785.

Yi-fan XI, Li-ming HE, Yue LYU. Multi-object tracking based on improved Fairmot framework[J]. Chinese journal of liquid crystals and displays, 2022, 37(6): 777-785.
席一帆, 何立明, 吕悦. 基于改进Fairmot框架的多目标跟踪[J]. 液晶与显示, 2022,37(6):777-785. DOI： 10.37188/CJLCD.2021-0304.

Yi-fan XI, Li-ming HE, Yue LYU. Multi-object tracking based on improved Fairmot framework[J]. Chinese journal of liquid crystals and displays, 2022, 37(6): 777-785. DOI： 10.37188/CJLCD.2021-0304.

摘要

针对复杂场景下目标之间遮挡造成跟踪精度降低的问题，提出基于Fairmot框架的多目标跟踪改进算法。将主干网特征图通过三重注意力机制进行维度间的信息交互产生注意力掩模，提高对目标的定位能力；行人重识别分支采用Circle Loss依据当前状态选择优化程度，提取更为精确的表观特征，区分不同目标对象。实验结果表明，在MOT15数据集上跟踪精度提升至62%，MT（Mostly Tracked）提升至358，身份切换降低68次，在发生遮挡的场景中拥有更出色的跟踪效果。

Abstract

Aiming at the problem of reduced tracking accuracy caused by occlusion between targets in complex scenes， an improved multi-object trcking algorithm based on the Fairmot framework is proposed. The feature map of the backbone network is used for information interaction between dimensions through a triplet attention mechanism to generate an attention mask， which improves the positioning ability of the target. Person re-identification branch adopts Circle Loss to select the degree of optimization according to the current state， to extract more accurate appearance features and distinguish different target objects. The experimental results show that the tracking accuracy on the MOT15 data set is increased to 62%， the MT （Mostly Tracked） is increased to 358， and the identity switching is reduced by 68 times. It has a better tracking effect in the scene where occlusion occurs.

关键词

Keywords

references

DALAL N ， TRIGGS B . Histograms of oriented gradients for human detection ［C］// 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR'05） . San Diego， CA， USA ： IEEE ， 2005 ： 886 - 893 . doi: 10.1109/cvpr.2005.177 http://dx.doi.org/10.1109/cvpr.2005.177

FELZENSZWALB P ， MCALLESTER D ， RAMANAN D . A discriminatively trained， multiscale， deformable part model ［C］// 2008 IEEE Conference on Computer Vision and Pattern Recognition . Anchorage， AK， USA ： IEEE ， 2008 ： 1 - 8 . doi: 10.1109/cvpr.2008.4587597 http://dx.doi.org/10.1109/cvpr.2008.4587597

GIRSHICK R ， DONAHUE J ， DARRELL T ， et al . Rich feature hierarchies for accurate object detection and semantic segmentation ［C］// Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition . Columbus， OH， USA ： IEEE ， 2014 ： 580 - 587 . doi: 10.1109/cvpr.2014.81 http://dx.doi.org/10.1109/cvpr.2014.81

GIRSHICK R . Fast R-CNN ［C］// 2015 IEEE International Conference on Computer Vision （ICCV） . Santiago， Chile ： IEEE ， 2015 ： 1440 - 1448 . doi: 10.1109/iccv.2015.169 http://dx.doi.org/10.1109/iccv.2015.169

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031

REDMON J ， DIVVALA S ， GIRSHICK R ， et al . You only look once： unified， real-time object detection ［C］// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA ： IEEE ， 2016 ： 779 - 788 . doi: 10.1109/cvpr.2016.91 http://dx.doi.org/10.1109/cvpr.2016.91

REDMON J ， FARHADI A . YOLO9000： better， faster， stronger ［C］// Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA ： IEEE ， 2017 ： 6517 - 6525 . doi: 10.1109/cvpr.2017.690 http://dx.doi.org/10.1109/cvpr.2017.690

REDMON J ， FARHADI A . YOLOv3： an incremental improvement ［J］. arXiv ： 1804.02767 ， 2018 . doi: 10.1109/cvpr.2017.690 http://dx.doi.org/10.1109/cvpr.2017.690

BOCHKOVSKIY A ， WANG C Y ， LIAO H Y M . YOLOv4： optimal speed and accuracy of object detection ［J］. arXiv ： 2004.10934 ， 2020 .

LAW H ， DENG J . CornerNet： detecting objects as paired keypoints ［C］// Proceedings of the 15th European Conference on Computer Vision （ECCV） . Munich， Germany ： Springer ， 2018 ： 734 - 750 . doi: 10.1007/978-3-030-01264-9_45 http://dx.doi.org/10.1007/978-3-030-01264-9_45

ZHOU X Y ， WANG D Q ， KRÄHENBÜHL P . Objects as points ［J］. arXiv ： 1904.07850 ， 2019 .

XING J L ， AI H Z ， LAO S H . Multi-object tracking through occlusions by local tracklets filtering and global tracklets association with detection responses ［C］// 2019 IEEE Conference on Computer Vision and Pattern Recognition . Miami， FL ： IEEE ， 2009 ： 1200 - 1207 . doi: 10.1109/cvpr.2009.5206745 http://dx.doi.org/10.1109/cvpr.2009.5206745

WOLF J K ， VITERBI A M ， DIXON G S . Finding the best set of K paths through a trellis with application to multitarget tracking ［J］. IEEE Transactions on Aerospace and Electronic Systems ， 1989 ， 25 （ 2 ）： 287 - 296 . doi: 10.1109/7.18692 http://dx.doi.org/10.1109/7.18692

CHOI W ， SAVARESE S . A unified framework for multi-target tracking and collective activity recognition ［C］// Proceedings of the 12th European Conference on Computer Vision . Florence， Italy ： Springer ， 2012 ： 215 - 230 . doi: 10.1007/978-3-642-33765-9_16 http://dx.doi.org/10.1007/978-3-642-33765-9_16

YANG B ， HUANG C ， NEVATIA R . Learning affinities and dependencies for multi-target tracking using a CRF model ［C］// The 2011 IEEE Conference on Computer Vision and Pattern Recognition . Colorado Springs， CO， USA ： IEEE ， 2011 ： 1233 - 1240 . doi: 10.1109/cvpr.2011.5995587 http://dx.doi.org/10.1109/cvpr.2011.5995587

BRENDEL W ， AMER M ， TODOROVIC S . Multiobject tracking as maximum weight independent set ［C］// Proceedings of 2011 Conference on Computer Vision and Pattern Recognition . Colorado Springs， CO， USA ： IEEE ， 2011 ： 1273 - 1280 . doi: 10.1109/cvpr.2011.5995395 http://dx.doi.org/10.1109/cvpr.2011.5995395

REID D . An algorithm for tracking multiple targets ［J］. IEEE Transactions on Automatics Control ， 1979 ， 24 （ 6 ）： 843 - 854 . doi: 10.1109/tac.1979.1102177 http://dx.doi.org/10.1109/tac.1979.1102177

MITZEL D ， LEIBE B . Real-time multi-person tracking with detector assisted structure propagation ［C］// 2011 IEEE International Conference on Computer Vision Workshops . Barcelona， Spain ： IEEE ， 2011 ： 974 - 981 . doi: 10.1109/iccvw.2011.6130357 http://dx.doi.org/10.1109/iccvw.2011.6130357

HU W M ， LI X ， LUO W H ， et al . Single and multiple object tracking using Log-Euclidean Riemannian subspace and block-division appearance model ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2012 ， 34 （ 12 ）： 2420 - 2440 . doi: 10.1109/tpami.2012.42 http://dx.doi.org/10.1109/tpami.2012.42

SUN S ， AKHTAR N ， SONG H S ， et al . Deep affinity network for multiple object tracking ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 1 ）： 104 - 119 .

XU Y H ， BAN Y ， ALAMEDA-PINEDA X ， et al . DeepMOT： a differentiable framework for training multiple object trackers ［J］. arXiv ： 1906.06618 ， 2019 . doi: 10.1109/cvpr42600.2020.00682 http://dx.doi.org/10.1109/cvpr42600.2020.00682

ZHU J ， YANG H ， LIU N ， et al . Online multi-object tracking with dual matching attention networks ［C］// Proceedings of the 15th European Conference on Computer Vision . Munich， Germany ： Springer ， 2018 ： 379 - 396 . doi: 10.1007/978-3-030-01228-1_23 http://dx.doi.org/10.1007/978-3-030-01228-1_23

ZHANG Y F ， WANG C Y ， WANG X G ， et al . FairMOT： on the fairness of detection and re-identification in multiple object tracking ［J］. International Journal of Computer Vision ， 2021 ， 129 （ 11 ）： 3069 - 3087 . doi: 10.1007/s11263-021-01513-4 http://dx.doi.org/10.1007/s11263-021-01513-4

WOJKE N ， BEWLEY A ， PAULUS D . Simple online and realtime tracking with a deep association metric ［C］// 2017 IEEE International Conference on Image Processing （ICIP） . Beijing， China ： IEEE ， 2017 ： 3645 - 3649 . doi: 10.1109/ICIP.2017.8296962 http://dx.doi.org/10.1109/ICIP.2017.8296962

MISRA D ， NALAMADA T ， ARASANIPALAI A U ， et al . Rotate to attend： convolutional triplet attention module ［C］// Proceedings of 2021 IEEE Winter Conference on Applications of Computer Vision . Waikoloa， HI， USA ： IEEE ， 2021 ： 3138 - 3147 . doi: 10.1109/wacv48630.2021.00318 http://dx.doi.org/10.1109/wacv48630.2021.00318

SUN Y F ， CHENG C M ， ZHANG Y H ， et al . Circle loss： a unified perspective of pair similarity optimization ［C］// Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle， WA， USA ： IEEE ， 2020 ： 6397 - 6406 . doi: 10.1109/cvpr42600.2020.00643 http://dx.doi.org/10.1109/cvpr42600.2020.00643

KIM H U ， KIM C S . CDT： cooperative detection and tracking for tracing multiple objects in video sequences ［C］// Proceedings of the 14th European Conference on Computer Vision . Amsterdam， The Netherlands ： Springer ， 2016 ： 851 - 867 . doi: 10.1007/978-3-319-46466-4_51 http://dx.doi.org/10.1007/978-3-319-46466-4_51

XIANG Y ， ALAHI A ， SAVARESE S . Learning to track： online multi-object tracking by decision making ［C］// Proceedings of 2015 IEEE International Conference on Computer Vision . Santiago， Chile ： IEEE ， 2015 ： 4705 - 4713 . doi: 10.1109/iccv.2015.534 http://dx.doi.org/10.1109/iccv.2015.534

MANEN S ， GYGLI M ， DAI D X ， et al . PathTrack： fast trajectory annotation with path supervision ［C］// Proceedings of 2017 IEEE International Conference on Computer Vision . Venice， Italy ： IEEE ， 2017 ： 290 - 299 . doi: 10.1109/iccv.2017.40 http://dx.doi.org/10.1109/iccv.2017.40

浏览量

683

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于自适应遮挡恢复与拓扑姿态双向感知的三维手部重建方法

基于改进YOLOv8n-Pose的疲劳驾驶检测

TFT-LCD表面Mura缺陷的AOI检测研究进展

基于改进ShuffleNetV2网络的遥感场景分类模型