Algoritmo ligero de seguimiento de un solo objetivo basado en tokens de indicación de objetivo con Transformer

ZHU Haoran ,  

WANG Zheng ,  

ZHANG Haifeng ,  

CHEN Weining ,  

HE Zeyu ,  

WU Xiongzhi ,  

LIANG Sirong ,  

摘要

El rastreador basado en la arquitectura Transformer, gracias a su excelente capacidad de modelado global, destaca en precisión, pero aún enfrenta problemas como el gran tamaño del modelo y la alta latencia computacional. Para abordar este problema, este artículo propone un método ligero de seguimiento de un solo objetivo basado en tokens de indicación de objetivo llamado TPTTrack. Este método introduce tokens de indicación de objetivo y los combina con la plantilla del objetivo y las características de la región de búsqueda en una red backbone Transformer ligera, utilizando la información previa del objetivo para guiar la interacción de características entre regiones y mejorar la robustez del seguimiento. Al mismo tiempo, mediante un mecanismo de desacoplamiento de atención por capas, se realiza la extracción y fusión de características en capas superficiales, y se reduce el cálculo redundante de autoatención en capas profundas para disminuir el costo computacional. Combinado con un módulo ligero de predicción de secuencia autorregresiva, permite el modelado dinámico y la estimación eficiente del estado del objetivo. Los experimentos comparativos en los conjuntos de datos GOT-10k y LaSOT muestran que TPTTrack mejora la superposición media en GOT-10k en un 1.4% respecto al mejor modelo ligero base, y mejora la precisión en LaSOT en un 1.7%. Al mismo tiempo, el número de parámetros y FLOPs son solo 5.6M y 1.82G, con velocidades de inferencia en GPU y CPU que alcanzan 109.2 FPS y 20.43 FPS respectivamente, con una mejora del 9.1% en la velocidad de CPU respecto al mejor modelo ligero base. En resumen, el método propuesto ofrece un rendimiento superior en precisión, velocidad y facilidad de despliegue en comparación con los algoritmos de seguimiento ligero existentes, proporcionando una solución ligera para tareas de seguimiento de un solo objetivo en escenarios con recursos limitados.

关键词

seguimiento de un solo objetivo;Transformer;modelo ligero;tokens de indicación de objetivo;desacoplamiento de atención por capas

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website