Target prompt token-based lightweight transformer for single object tracking algorithm

ZHU Haoran; WANG Zheng; ZHANG Haifeng; CHEN Weining; HE Zeyu; WU Xiongzhi; LIANG Sirong

doi:10.37188/CJLCD.2026-0058

您当前的位置：

首页 >

文章列表页 >

Target prompt token-based lightweight transformer for single object tracking algorithm

Image Processing | 更新时间：2026-09-12

- Target prompt token-based lightweight transformer for single object tracking algorithm
- Chinese Journal of Liquid Crystals and Displays Vol. 41, Issue 5, Pages: 754-768(2026)
- 作者机构：
  
  1.中国科学院西安光学精密机械研究所，陕西西安 710119
  2.中国科学院大学，北京 100049
  3.西安飞行器光学成像与测量技术重点实验室，陕西西安 710119
  4.北京宇航系统工程研究所，北京 100076
- 作者简介：
- 基金信息：
  
  Shaanxi Provincial Key Research and Development Program(2025CY-YBXM-076)
- DOI：10.37188/CJLCD.2026-0058
  CLC： TP391.4
- CSTR：32172.14.CJLCD.2026-0058
- Received：03 April 2026，
  
  Revised：2026-04-15，
  
  Published：05 May 2026
- 稿件说明：
移动端阅览
ZHU Haoran, WANG Zheng, ZHANG Haifeng, et al. Target prompt token-based lightweight transformer for single object tracking algorithm[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(5): 754-768.
DOI：

ZHU Haoran, WANG Zheng, ZHANG Haifeng, et al. Target prompt token-based lightweight transformer for single object tracking algorithm[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(5): 754-768. DOI： 10.37188/CJLCD.2026-0058. CSTR： 32172.14.CJLCD.2026-0058.

摘要

Transformer架构跟踪器凭借其优异的全局建模能力，在准确性方面表现突出，但仍存在模型规模庞大与计算延迟较高等问题。针对该问题，本文提出了一种基于目标提示令牌的轻量化Transformer单目标跟踪方法TPTTrack。该方法引入目标提示令牌，将其与目标模板和搜索区域特征共同输入轻量级Transformer骨干网络，利用目标先验引导跨区域特征交互，提升跟踪鲁棒性。同时，通过分层注意力解耦机制在浅层完成特征提取与融合、在深层削减冗余自注意力计算，以降低计算开销。结合轻量自回归序列预测模块，实现对目标状态的动态建模与高效估计。在GOT-10k和LaSOT数据集上的对比实验表明，TPTTrack在GOT-10k上的平均重叠率较最优轻量化基线模型提升1.4%，在LaSOT上的精度提升1.7%。同时，其参数量和FLOPs仅为5.6M和1.82G，GPU和CPU推理速度分别达到109.2 FPS和20.43 FPS，其中CPU速度较最优轻量化基线模型提升9.1%。综上，本文方法与现有轻量化跟踪算法相比，在精度、速度及部署友好性方面均表现优异，为资源受限场景下的单目标跟踪任务提供了一种轻量化方案。

Abstract

Although Transformer-based trackers have demonstrated strong accuracy owing to their superior global modeling capability， they still suffer from large model size and high computational latency. To address these issues， this paper proposes TPTTrack， a lightweight Transformer-based single object tracking method built upon target prompt tokens. Specifically， a target prompt token is introduced and jointly fed with the target template and search-region features into a lightweight Transformer backbone， where target priors are exploited to guide cross-region feature interaction and enhance tracking robustness. In addition， a hierarchical attention decoupling mechanism is designed to perform feature extraction and fusion in shallow layers while reducing redundant self-attention computation in deep layers， thereby lowering the overall computational cost. A lightweight autoregressive sequence prediction module is further incorporated to enable dynamic target-state modeling and efficient state estimation. Comparative experiments on the GOT-10k and LaSOT benchmarks show that TPTTrack improves Average Overlap on GOT-10k by 0.9% and precision on LaSOT by 1.4% over the strongest real-time baseline. Meanwhile， the model contains only 5.5M parameters and 1.79G FLOPs， and achieves inference speeds of 111.6 FPS on GPU and 20.76 FPS on CPU， with the CPU speed being 10.8% higher than that of the strongest real-time baseline. Overall， compared with existing lightweight tracking algorithms， the proposed method achieves superior performance in terms of accuracy， speed， and deployment friendliness， providing an effective lightweight solution for single object tracking in resource-constrained scenarios.

关键词

Keywords

references

闵志方，杜虎，朱雪琼，等 . 单目标跟踪研究综述［J］. 光学与光电技术， 2023 ， 21 （ 4 ）： 1 - 14 ．

MIN Z F ， DU H ， ZHU X Q ， et al . Survey of single target tracking research ［J］. Optics & Optoelectronic Technology ， 2023 ， 21 （ 4 ）： 1 - 14 . （in Chinese）

陈志旺，杨天宇，曹索航，等 . 基于稀疏注意力的孪生网络目标跟踪算法［J］. 控制与决策， 2024 ， 39 （ 12 ）： 4017 - 4026 ．

CHEN Z W ， YANG T Y ， CAO S H ， et al . Siamese network object tracking algorithm based on sparse attention ［J］. Control and Decision ， 2024 ， 39 （ 12 ）： 4017 - 4026 . （in Chinese）

ZHANG M ， ZHANG F E ， LANE N D ， et al . Deep learning in the era of edge computing： challenges and opportunities ［M］//ZOMAYA A， ABBAS A， KHAN S. Fog Computing： Theory and Practice . Hoboken ： John Wiley & Sons， Inc. ， 2020 ： 67 - 78 . doi: 10.1002/9781119551713.ch3 http://dx.doi.org/10.1002/9781119551713.ch3

VASWANI A ， SHAZEER N ， PARMAR N ， et al . Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing System . Long Beach ： Curran Associates Inc. ， 2017 ： 6000 - 6010 .

KRIZHEVSKY A ， SUTSKEVER I ， HINTON G E . ImageNet classification with deep convolutional neural networks ［C］. 26th Annual Conference on Neural Information Processing Systems 2012. Lake Tahoe ： Curran Associates Inc. ， 2012 ： 1106 - 1114 .

BOLME D S ， BEVERIDGE J R ， DRAPER B A ， et al . Visual object tracking using adaptive correlation filters ［C］. IEEE Computer Society Conference on Computer Vision and Pattern Recognition . San Francisco ： IEEE ， 2010 ： 2544 - 2550 . doi: 10.1109/cvpr.2010.5539960 http://dx.doi.org/10.1109/cvpr.2010.5539960

HENRIQUES J F ， CASEIRO R ， MARTINS P ， et al . High-speed tracking with kernelized correlation filters ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2015 ， 37 （ 3 ）： 583 - 596 . doi: 10.1109/tpami.2014.2345390 http://dx.doi.org/10.1109/tpami.2014.2345390

HENRIQUES J F ， CASEIRO R ， MARTINS P ， et al . Exploiting the circulant structure of tracking-by-detection with kernels ［C］. 12th European Conference on Computer Vision . Florence ： Springer ， 2012 ： 702 - 715 . doi: 10.1007/978-3-642-33765-9_50 http://dx.doi.org/10.1007/978-3-642-33765-9_50

BERTINETTO L ， VALMADRE J ， HENRIQUES J F ， et al . Fully-convolutional Siamese networks for object tracking ［C］// Proceedings of the Computer Vision . Amsterdam ： Springer ， 2016 ： 850 - 865 . doi: 10.1007/978-3-319-48881-3_56 http://dx.doi.org/10.1007/978-3-319-48881-3_56

LI B ， YAN J J ， WU W ， et al . High performance visual tracking with Siamese region proposal network ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 8971 - 8980 . doi: 10.1109/cvpr.2018.00935 http://dx.doi.org/10.1109/cvpr.2018.00935

ZHANG Z P ， PENG H W ， FU J L ， et al . Ocean： object-aware anchor-free tracking ［C］. 16th European Conference on Computer Vision . Glasgow ： Springer ， 2020 ： 771 - 787 . doi: 10.1007/978-3-030-58589-1_46 http://dx.doi.org/10.1007/978-3-030-58589-1_46

LI B ， WU W ， WANG Q ， et al . SiamRPN++： evolution of Siamese visual tracking with very deep networks ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach ： IEEE ， 2019 ： 4277 - 4286 . doi: 10.1109/cvpr.2019.00441 http://dx.doi.org/10.1109/cvpr.2019.00441

KUGARAJEEVAN J ， KOKUL T ， RAMANAN A ， et al . Transformers in single object tracking： an experimental survey ［J］. IEEE Access ， 2023 ， 11 ： 80297 - 80326 . doi: 10.1109/access.2023.3298440 http://dx.doi.org/10.1109/access.2023.3298440

CHEN X ， YAN B ， ZHU J W ， et al . Transformer tracking ［J/OL］. arXiv ， 2021 ： 2103 . 15436 . doi: 10.1109/cvpr46437.2021.00803 http://dx.doi.org/10.1109/cvpr46437.2021.00803

YE B T ， CHANG H ， MA B P ， et al . Joint feature learning and relation modeling for tracking： a one-stream framework ［C］. 17th European Conference on Computer Vision . Tel Aviv ： Springer ， 2022 ： 341 - 357 . doi: 10.1007/978-3-031-20047-2_20 http://dx.doi.org/10.1007/978-3-031-20047-2_20

YAN B ， PENG H W ， FU J L ， et al . Learning spatio-temporal transformer for visual tracking ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV） . Montreal ： IEEE ， 2021 ： 10428 - 10437 . doi: 10.1109/iccv48922.2021.01028 http://dx.doi.org/10.1109/iccv48922.2021.01028

LIN L T ， FAN H ， ZHANG Z P ， et al . SwinTrack： a simple and strong baseline for transformer tracking ［C］// Proceedings of the 36th International Conference on Neural Information Processing Systems . New Orleans ： Curran Associates Inc. ， 2022 ： 1218 . doi: 10.52202/068431-1218 http://dx.doi.org/10.52202/068431-1218

CHEN X ， PENG H W ， WANG D ， et al . SeqTrack： sequence to sequence learning for visual object tracking ［C］. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Vancouver ： IEEE ， 2023 ： 14572 - 14581 . doi: 10.1109/cvpr52729.2023.01400 http://dx.doi.org/10.1109/cvpr52729.2023.01400

HUANG L H ， ZHAO X ， HUANG K Q . GOT-10k： a large high-diversity benchmark for generic object tracking in the wild ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 5 ）： 1562 - 1577 . doi: 10.1109/tpami.2019.2957464 http://dx.doi.org/10.1109/tpami.2019.2957464

FAN H ， LIN L T ， YANG F ， et al . LaSOT： a high-quality benchmark for large-scale single object tracking ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach ： IEEE ， 2019 ： 5369 - 5378 . doi: 10.1109/cvpr.2019.00552 http://dx.doi.org/10.1109/cvpr.2019.00552

MÜLLER M ， BIBI A ， GIANCOLA S ， et al . TrackingNet： a large-scale dataset and benchmark for object tracking in the wild ［C］. 15th European Conference on Computer Vision . Munich ： Springer ， 2018 ： 310 - 327 . doi: 10.1007/978-3-030-01246-5_19 http://dx.doi.org/10.1007/978-3-030-01246-5_19

FANG X Y ， HU X N ， LI B L ， et al . Orbital angular momentum-mediated machine learning for high-accuracy mode-feature encoding ［J］. Light： Science & Applications ， 2024 ， 13 （ 1 ）： 49 . doi: 10.1038/s41377-024-01386-5 http://dx.doi.org/10.1038/s41377-024-01386-5

WANG Y F ， LIAO K ， ZHANG K ， et al . Reconfigurable versatile integrated photonic computing chip ［J］. eLight ， 2025 ， 5 （ 1 ）： 20 . doi: 10.1186/s43593-025-00098-6 http://dx.doi.org/10.1186/s43593-025-00098-6

李大湘，辛嘉妮，刘颖 . 位置敏感Transformer航拍图像目标检测模型［J］. 光学精密工程， 2024 ， 32 （ 5 ）： 727 - 739 ． doi: 10.37188/ope.20243205.0727 http://dx.doi.org/10.37188/ope.20243205.0727

LI D X ， XIN J N ， LIU Y . Position-sensitive Transformer aerial image object detection model ［J］. Optics and Precision Engineering ， 2024 ， 32 （ 5 ）： 727 - 739 . （in Chinese） . doi: 10.37188/ope.20243205.0727 http://dx.doi.org/10.37188/ope.20243205.0727

YAN B ， PENG H W ， WU K ， et al . LightTrack： finding lightweight neural networks for object tracking via one-shot architecture search ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville ： IEEE ， 2021 ： 15175 - 15184 . doi: 10.1109/cvpr46437.2021.01493 http://dx.doi.org/10.1109/cvpr46437.2021.01493

BORSUK V ， VEI R ， KUPYN O ， et al . FEAR： fast， efficient， accurate and robust visual tracker ［C］. 17th European Conference on Computer Vision . Tel Aviv ： Springer ， 2022 ： 644 - 663 . doi: 10.1007/978-3-031-20047-2_37 http://dx.doi.org/10.1007/978-3-031-20047-2_37

CUI Y T ， SONG T H ， WU G H ， et al . MixFormerV2： efficient fully transformer tracking ［C］// Proceedings of the 37th International Conference on Neural Information Processing Systems . New Orleans ： Curran Associates Inc. ， 2023 ： 2561 . doi: 10.52202/075280-2561 http://dx.doi.org/10.52202/075280-2561

KANG B ， CHEN X ， WANG D ， et al . Exploring lightweight hierarchical vision transformers for efficient visual tracking ［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision . Paris ： IEEE ， 2023 ： 9578 - 9587 . doi: 10.1109/iccv51070.2023.00881 http://dx.doi.org/10.1109/iccv51070.2023.00881

GOPAL G Y ， AMER M A . Mobile vision transformer-based visual object tracking ［C］. 34th British Machine Vision Conference . Aberdeen ： BMVA Press ， 2023 ： 800 - 805 .

MEHTA S ， RASTEGARI M . MobileViT： light-weight， general-purpose， and mobile-friendly vision transformer ［C］. The 10th International Conference on Learning Representations. OpenReview.net ， 2022 .

WU K ， ZHANG J N ， PENG H W ， et al . TinyViT： fast pretraining distillation for small vision transformers ［C］. 17th European Conference on Computer Vision . Tel Aviv ： Springer ， 2022 ： 68 - 85 . doi: 10.1007/978-3-031-19803-8_5 http://dx.doi.org/10.1007/978-3-031-19803-8_5

CUI Y T ， JIANG C ， WANG L M ， et al . MixFormer： end-to-end tracking with iterative mixed attention ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans ： IEEE ， 2022 ： 13598 - 13608 . doi: 10.1109/cvpr52688.2022.01324 http://dx.doi.org/10.1109/cvpr52688.2022.01324

ZHOU P ， XIE X Y ， LIN Z C ， et al . Towards understanding convergence and generalization of AdamW ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2024 ， 46 （ 9 ）： 6486 - 6493 . doi: 10.1109/tpami.2024.3382294 http://dx.doi.org/10.1109/tpami.2024.3382294

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Lightweight detection of foreign objects on road surfaces in challenging driving environments

Madulous： a dual-branch traffic target detection algorithm based on multi-attention mechanisms

Lightweight cone detection algorithm based on an improved YOLOv11n

Efficient siamese single object tracking based on hybrid feature fusion

Small object detection algorithm in UAV aerial images based on improved YOLO11

Related Author

ZHANG Chuanwei

SHANG Zhaobin

ZHANG Jiale

XU Jing

YAO Hao

XUE Zijian

JIANG Rui

CAO Enqi

Related Institution

Shaanxi College of Communications Technology， Xi′an

School of Mechanical Engineering， Xi′an University of Science and Technology， Xi′an

College of Electronic Information Engineering， Wuxi University

Jiangsu Province Engineering Research Center of Photonic Devices and System Integration for Communication Sensing Convergence，Wuxi University

School of Electronics Information Engineering， Nanjing University of Information Science Technology

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰