基于孪生网络的目标跟踪算法

苗宗成; 高世严; 贺泽民; 欧渊

doi:10.37188/CJLCD.2022-0186

您当前的位置：

首页 >

文章列表页 >

基于孪生网络的目标跟踪算法

图像处理 | 更新时间：2023-02-10

- 基于孪生网络的目标跟踪算法
- Single-objective tracking algorithm based on Siamese networks
- 液晶与显示 2023年38卷第2期页码：256-266
- 作者机构：
  
  1.西京学院西安市先进光电子材料与能源转换器件重点实验室，陕西西安 710123
  2.西北工业大学光电与智能研究院，陕西西安 710072
  3.军事科学院系统工程研究院，北京 100039
- 作者简介：
  
  [ "苗宗成（1979—），男，山东胶南人，博士，教授，2010年于陕西科技大学获得博士学位，主要从事液晶显示及光电探测方面的研究。E-mail：miaozongcheng@nwpu.edu.cn" ]
- 基金信息：
  
  国家自然科学基金(52173263);安徽省自然科学基金(2108085J11);陕西省区域创新能力引导计划(2022QFY03-02)
- DOI：10.37188/CJLCD.2022-0186
  中图分类号： TB565⁺.4;TN27;TP391
- 收稿日期：2022-06-04，
  
  修回日期：2022-07-14，
  
  纸质出版日期：2023-02-05
- 稿件说明：
移动端阅览
苗宗成, 高世严, 贺泽民, 等. 基于孪生网络的目标跟踪算法[J]. 液晶与显示, 2023,38(2):256-266.

MIAO Zong-cheng, GAO Shi-yan, HE Ze-min, et al. Single-objective tracking algorithm based on Siamese networks[J]. Chinese journal of liquid crystals and displays, 2023, 38(2): 256-266.
苗宗成, 高世严, 贺泽民, 等. 基于孪生网络的目标跟踪算法[J]. 液晶与显示, 2023,38(2):256-266. DOI： 10.37188/CJLCD.2022-0186.

MIAO Zong-cheng, GAO Shi-yan, HE Ze-min, et al. Single-objective tracking algorithm based on Siamese networks[J]. Chinese journal of liquid crystals and displays, 2023, 38(2): 256-266. DOI： 10.37188/CJLCD.2022-0186.

摘要

在计算机视觉应用中，基于孪生网络的跟踪算法相比于传统的目标跟踪算法在速度和精度上都有所提升，但是其受到遮挡、形变等干扰因素影响较大。基于此，本文对现有基于孪生网络的目标跟踪方法和技术所作的改进进行了总结分析，主要包括在孪生网络中引入全卷积孪生神经网络方法、引入回归方法和在线更新方法，对基于3种方法的目标跟踪算法的改进进行了综述，并详细介绍了近年来孪生网络在目标跟踪应用中的国内外研究进展和发展现状。同时，采用 VOT2017和LaSOT数据集进行了实验对比，比较了多种基于孪生神经网络跟踪算法的性能。最后，对基于孪生网络的目标跟踪方法的发展趋势进行了展望。

Abstract

In the computer vision applications， the tracking algorithms based on the Siamese networks have improved in speed and accuracy compared with the traditional target tracking algorithms， but they are greatly affected by interference factors such as occlusion and deformation. Based on these， the existing target tracking methods and technologies based on Siamese networks are summarized and analyzed， they mainly include the introduction of fully convolutional Siamese neural network method， regression method and online update method in Siamese networks， and the improvements of the target tracking algorithms based on three methods are reviewed. The research progress and development status of Siamese networks in target tracking applications in recent years are introduced in detail. Then， the VOT2017 and LaSOT datasets are used for experimental comparison， and the performances of various tracking algorithms based on Siamese neural networks are compared. At the end， the development trend of the target tracking methods based on Siamese neural networks is prospected.

关键词

Keywords

references

陈云芳，吴懿，张伟 . 基于孪生网络结构的目标跟踪算法综述［J］. 计算机工程与应用， 2020 ， 56 （ 6 ）： 10 - 18 . doi: 10.3778/j.issn.1002-8331.1911-0127 http://dx.doi.org/10.3778/j.issn.1002-8331.1911-0127

CHEN Y F ， WU Y ， ZHANG W . Survey of target tracking algorithm based on Siamese network structure ［J］. Computer Engineering and Applications ， 2020 ， 56 （ 6 ）： 10 - 18 . （in Chinese） . doi: 10.3778/j.issn.1002-8331.1911-0127 http://dx.doi.org/10.3778/j.issn.1002-8331.1911-0127

陈旭，孟朝晖 . 基于深度学习的目标视频跟踪算法综述［J］. 计算机系统应用， 2019 ， 28 （ 1 ）： 1 - 9 .

CHEN X ， MENG Z H . Survey on video object tracking algorithms based on deep learning ［J］. Computer Systems & Applications ， 2019 ， 28 （ 1 ）： 1 - 9 . （in Chinese）

SMEULDERS A W M ， CHU D M ， CUCCHIARA R ， et al . Visual tracking： an experimental survey ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2014 ， 36 （ 7 ）： 1442 - 1468 . doi: 10.1109/tpami.2013.230 http://dx.doi.org/10.1109/tpami.2013.230

LEE K H ， HWANG J N . On-road pedestrian tracking across multiple driving recorders ［J］. IEEE Transactions on Multimedia ， 2015 ， 17 （ 9 ）： 1429 - 1438 . doi: 10.1109/tmm.2015.2455418 http://dx.doi.org/10.1109/tmm.2015.2455418

LI X ， HU W M ， SHEN C H ， et al . A survey of appearance models in visual object tracking ［J］. ACM Transactions on Intelligent Systems and Technology ， 2013 ， 4 （ 4 ）： 58 . doi: 10.1145/2508037.2508039 http://dx.doi.org/10.1145/2508037.2508039

LIU L W ， XING J L ， AI H Z ， et al . Hand posture recognition using finger geometric feature ［C］// Proceedings of the 21st International Conference on Pattern Recognition . Tsukuba ： IEEE ， 2012 ： 565 - 568 .

AGARWALA A ， HERTZMANN A ， SALESIN D H ， et al . Keyframe-based tracking for rotoscoping and animation ［J］. ACM Transactions on Graphics ， 2004 ， 23 （ 3 ）： 584 - 591 . doi: 10.1145/1015706.1015764 http://dx.doi.org/10.1145/1015706.1015764

XING J L ， AI H Z ， LAO S H . Multiple human tracking based on multi-view upper-body detection and discriminative learning ［C］// Proceedings of the 2010 20th International Conference on Pattern Recognition . Istanbul ： IEEE ， 2010 ： 1698 - 1701 . doi: 10.1109/icpr.2010.420 http://dx.doi.org/10.1109/icpr.2010.420

ZHANG G C ， VELA P A . Good features to track for visual SLAM ［C］// Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition . Boston ： IEEE ， 2015 ： 1373 - 1382 . doi: 10.1109/cvpr.2015.7298743 http://dx.doi.org/10.1109/cvpr.2015.7298743

ZHANG Y C ， WANG T ， LIU K X ， et al . Recent advances of single-object tracking methods： a brief survey ［J］. Neurocomputing ， 2021 ， 455 ： 1 - 11 . doi: 10.1016/j.neucom.2021.05.011 http://dx.doi.org/10.1016/j.neucom.2021.05.011

WU Y ， LIM J ， YANG M H . Object tracking benchmark ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2015 ， 37 （ 9 ）： 1834 - 1848 . doi: 10.1109/tpami.2014.2388226 http://dx.doi.org/10.1109/tpami.2014.2388226

孙运达，万雪，李盛阳 . 基于孪生网络的航天器部件追踪［J］. 光学精密工程， 2021 ， 29 （ 12 ）： 2915 - 2923 . doi: 10.37188/OPE.20212912.2915 http://dx.doi.org/10.37188/OPE.20212912.2915

SUN Y D ， WAN X ， LI S Y . Siamese network based satellite component tracking ［J］. Optics and Precision Engineering ， 2021 ， 29 （ 12 ）： 2915 - 2923 . （in Chinese） . doi: 10.37188/OPE.20212912.2915 http://dx.doi.org/10.37188/OPE.20212912.2915

ZUO C ， QIAN J M ， FENG S J ， et al . Deep learning in optical metrology： a review ［J］. Light： Science & Applications ， 2022 ， 11 （ 1 ）： 39 . doi: 10.1038/s41377-022-00714-x http://dx.doi.org/10.1038/s41377-022-00714-x

BROMLEY J ， GUYON I ， LECUN Y ， et al . Signature verification using a “Siamese” time delay neural network ［C］// Proceedings of the 6th International Conference on Neural Information Processing Systems . Denver ： Morgan Kaufmann Publishers Inc. ， 1993 ： 737 - 744 . doi: 10.1142/9789812797926_0003 http://dx.doi.org/10.1142/9789812797926_0003

TAO R ， GAVVES E ， SMEULDERS A W M . Siamese instance search for tracking ［C］// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 1420 - 1429 . doi: 10.1109/cvpr.2016.158 http://dx.doi.org/10.1109/cvpr.2016.158

BERTINETTO L ， VALMADRE J ， HENRIQUES J F ， et al . Fully-convolutional Siamese networks for object tracking ［C］// Proceedings of Computer Vision—ECCV 2016 Workshops . Amsterdam ： Springer ， 2016 ： 850 - 865 . doi: 10.1007/978-3-319-48881-3_56 http://dx.doi.org/10.1007/978-3-319-48881-3_56

HE A F ， LUO C ， TIAN X M ， et al . A twofold Siamese network for real-time object tracking ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 4834 - 4843 . doi: 10.1109/cvpr.2018.00508 http://dx.doi.org/10.1109/cvpr.2018.00508

SHEN Z L ， DAI Y C ， RAO Z B . CFNet： cascade and fused cost volume for robust stereo matching ［C］// Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville ： IEEE ， 2021 ： 13901 - 13910 . doi: 10.1109/cvpr46437.2021.01369 http://dx.doi.org/10.1109/cvpr46437.2021.01369

DONG X P ， SHEN J B . Triplet loss in Siamese network for object tracking ［C］// Proceedings of the 15th European Conference on Computer Vision . Munich ： Springer ， 2018 ： 472 - 488 . doi: 10.1007/978-3-030-01261-8_28 http://dx.doi.org/10.1007/978-3-030-01261-8_28

LI Z X ， BILODEAU G A ， BOUACHIR W . Multi-branch Siamese networks with online selection for object tracking ［C］// Proceedings of the 13th International Symposium on Visual Computing . Las Vegas ： Springer ， 2018 ： 309 - 319 . doi: 10.1007/978-3-030-03801-4_28 http://dx.doi.org/10.1007/978-3-030-03801-4_28

HE A F ， LUO C ， TIAN X M ， et al . Towards a better match in Siamese network based visual object tracker ［C］// Proceedings of Computer Vision-ECCV 2018 Workshops . Munich ： Springer ， 2019 ： 132 - 147 . doi: 10.1007/978-3-030-11009-3_7 http://dx.doi.org/10.1007/978-3-030-11009-3_7

WANG Q ， TENG Z ， XING J L ， et al . Learning attentions： residual attentional Siamese network for high performance online visual tracking ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 4854 - 4863 . doi: 10.1109/cvpr.2018.00510 http://dx.doi.org/10.1109/cvpr.2018.00510

HUANG C ， LUCEY S ， RAMANAN D . Learning policies for adaptive tracking with deep feature cascades ［C］// Proceedings of 2017 IEEE International Conference on Computer Vision . Venice ： IEEE ， 2017 ： 105 - 114 . doi: 10.1109/iccv.2017.21 http://dx.doi.org/10.1109/iccv.2017.21

ABDELPAKEY M H ， SHEHATA M S ， MOHAMED M M . DensSiam： end-to-end densely-Siamese network with self-attention model for object tracking ［C］// Proceedings of the 13th International Symposium on Visual Computing . Las Vegas ： Springer ， 2018 ： 463 - 473 . doi: 10.1007/978-3-030-03801-4_41 http://dx.doi.org/10.1007/978-3-030-03801-4_41

ZHANG Y H ， WANG L J ， QI J Q ， et al . Structured Siamese network for real-time visual tracking ［C］// Proceedings of the 15th European Conference on Computer Vision . Munich ： Springer ， 2018 ： 355 - 370 . doi: 10.1007/978-3-030-01240-3_22 http://dx.doi.org/10.1007/978-3-030-01240-3_22

张长弓，杨海涛，王晋宇，等 . 基于深度学习的视觉单目标跟踪综述［J］. 计算机应用研究， 2021 ， 38 （ 10 ）： 2888 - 2895 .

ZHANG C G ， YANG H T ， WANG J Y ， et al . Survey on visual single object tracking based on deep learning ［J］. Application Research of Computers ， 2021 ， 38 （ 10 ）： 2888 - 2895 . （in Chinese）

HELD D ， THRUN S ， SAVARESE S . Learning to track at 100 FPS with deep regression networks ［C］// Proceedings of the 14th European Conference on Computer Vision . Amsterdam ： Springer ， 2016 ： 749 - 765 . doi: 10.1007/978-3-319-46448-0_45 http://dx.doi.org/10.1007/978-3-319-46448-0_45

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031

LI B ， YAN J J ， WU W ， et al . High performance visual tracking with Siamese region proposal network ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 8971 - 8980 . doi: 10.1109/cvpr.2018.00935 http://dx.doi.org/10.1109/cvpr.2018.00935

WANG G T ， LUO C ， XIONG Z W ， et al . SPM-tracker： series-parallel matching for real-time visual object tracking ［C］// Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2019 ： 3638 - 3647 . doi: 10.1109/cvpr.2019.00376 http://dx.doi.org/10.1109/cvpr.2019.00376

ZHU Z ， WANG Q ， LI B ， et al . Distractor-aware Siamese networks for visual object tracking ［C］// Proceedings of the 15th European Conference on Computer Vision . Munich ： Springer ， 2018 ： 103 - 119 . doi: 10.1007/978-3-030-01240-3_7 http://dx.doi.org/10.1007/978-3-030-01240-3_7

FAN H ， LING H B . Siamese cascaded region proposal networks for real-time visual tracking ［C］// Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2019 ： 7944 - 7953 . doi: 10.1109/cvpr.2019.00814 http://dx.doi.org/10.1109/cvpr.2019.00814

HUANG L H ， ZHAO X ， HUANG K Q . GOT-10k： a large high-diversity benchmark for generic object tracking in the wild ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 5 ）： 1562 - 1577 . doi: 10.1109/tpami.2019.2957464 http://dx.doi.org/10.1109/tpami.2019.2957464

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

KRIZHEVSKY A ， SUTSKEVER I ， HINTON G E . ImageNet classification with deep convolutional neural networks ［C］// Proceedings of the 25th International Conference on Neural Information Processing Systems . Lake Tahoe ： Curran Associates Inc. ， 2012 ： 1097 - 1105 .

XU Y D ， WANG Z Y ， LI Z X ， et al . SiamFC++： towards robust and accurate visual tracking with target estimation guidelines ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 7 ）： 12549 - 12556 . doi: 10.1609/aaai.v34i07.6944 http://dx.doi.org/10.1609/aaai.v34i07.6944

GUO D Y ， WANG J ， CUI Y ， et al . SiamCAR： Siamese fully convolutional classification and regression for visual tracking ［C］// Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle ： IEEE ， 2020 ： 6268 - 6276 . doi: 10.1109/cvpr42600.2020.00630 http://dx.doi.org/10.1109/cvpr42600.2020.00630

SHELHAMER E ， LONG J ， DARRELL T . Fully convolutional networks for semantic segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 1 ）： 640 - 651 . doi: 10.1109/tpami.2016.2572683 http://dx.doi.org/10.1109/tpami.2016.2572683

CHEN Z D ， ZHONG B E ， LI G R ， et al . Siamese box adaptive network for visual tracking ［C］// Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle ： IEEE ， 2020 ： 6667 - 6676 . doi: 10.1109/cvpr42600.2020.00670 http://dx.doi.org/10.1109/cvpr42600.2020.00670

ZHANG Z P ， PENG H W . Deeper and wider Siamese networks for real-time visual tracking ［C］// Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2020 ： 4586 - 4595 . doi: 10.1109/cvpr.2019.00472 http://dx.doi.org/10.1109/cvpr.2019.00472

LI B ， WU W ， WANG Q ， et al . SiamRPN++： evolution of Siamese visual tracking with very deep networks ［C］// Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2019 ： 4277 - 4286 . doi: 10.1109/cvpr.2019.00441 http://dx.doi.org/10.1109/cvpr.2019.00441

WANG Q ， ZHANG L ， BERTINETTO L ， et al . Fast online object tracking and segmentation： a unifying approach ［C］// Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2018 ： 1328 - 1338 . doi: 10.1109/cvpr.2019.00142 http://dx.doi.org/10.1109/cvpr.2019.00142

XIE S N ， GIRSHICK R ， DOLLÁR P ， et al . Aggregated residual transformations for deep neural networks ［C］// Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu ： IEEE ， 2017 ： 5987 - 5995 . doi: 10.1109/cvpr.2017.634 http://dx.doi.org/10.1109/cvpr.2017.634

ANDREW G H ， MENGLONG Z ， BO C ， et al . MobileNets： efficient convolutional neural networks for mobile vision applications ［C］// Proceedings of 2017 Computer Vision and Pattern Recognition . Honolulu ： IEEE ， 2017 .

NAM H ， HAN B . Learning multi-domain convolutional neural networks for visual tracking ［C］// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 4293 - 4302 . doi: 10.1109/cvpr.2016.465 http://dx.doi.org/10.1109/cvpr.2016.465

ISARD M ， BLAKE A . CONDENSATION-conditional density propagation for visual tracking ［J］. International Journal of Computer Vision ， 1998 ， 29 （ 1 ）： 5 - 28 . doi: 10.1023/a:1008078328650 http://dx.doi.org/10.1023/a:1008078328650

JUNG I ， SON J ， BAEK M ， et al . Real-time MDNet ［C］// Proceedings of the 15th European Conference on Computer Vision . Munich ： Springer ， 2018 ： 89 - 104 . doi: 10.1007/978-3-030-01225-0_6 http://dx.doi.org/10.1007/978-3-030-01225-0_6

YU Y X ， XIONG Y L ， HUANG W L ， et al . Deformable Siamese attention networks for visual object tracking ［C］// Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle ： IEEE ， 2020 ： 6727 - 6736 . doi: 10.1109/cvpr42600.2020.00676 http://dx.doi.org/10.1109/cvpr42600.2020.00676

ZHANG L C ， GONZALEZ-GARCIA A ， VAN DE WEIJER J ， et al . Learning the model update for Siamese trackers ［C］// Proceedings of 2019 IEEE/CVF International Conference on Computer Vision . Seoul ： IEEE ， 2019 ： 4009 - 4018 . doi: 10.1109/iccv.2019.00411 http://dx.doi.org/10.1109/iccv.2019.00411

DANELLJAN M ， BHAT G ， KHAN F S ， et al . ATOM： accurate tracking by overlap maximization ［C］// Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2018 ： 4655 - 4664 . doi: 10.1109/cvpr.2019.00479 http://dx.doi.org/10.1109/cvpr.2019.00479

YANG T Y ， XU P F ， HU R B ， et al . ROAM： recurrently optimizing tracking model ［C］// Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle ： IEEE ， 2019 ： 6717 - 6726 . doi: 10.1109/cvpr42600.2020.00675 http://dx.doi.org/10.1109/cvpr42600.2020.00675

BHAT G ， DANELLJAN M ， VAN GOOL L ， et al . Learning discriminative model prediction for tracking ［C］// Proceedings of 2019 IEEE/CVF International Conference on Computer Vision . Seoul ： IEEE ， 2019 ： 6181 - 6190 . doi: 10.1109/iccv.2019.00628 http://dx.doi.org/10.1109/iccv.2019.00628

DANELLJAN M ， VAN GOOL L ， TIMOFTE R . Probabilistic regression for visual tracking ［C］// Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle ： IEEE ， 2020 ： 7181 - 7190 . doi: 10.1109/cvpr42600.2020.00721 http://dx.doi.org/10.1109/cvpr42600.2020.00721

浏览量

235

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

视觉跟踪技术中孪生网络的研究进展

融合序列影像相关区域信息的光流估计网络

基于改进Fairmot框架的多目标跟踪