Algoritmo leve de rastreamento de alvo único baseado em tokens de indicação de alvo com Transformer

ZHU Haoran ,  

WANG Zheng ,  

ZHANG Haifeng ,  

CHEN Weining ,  

HE Zeyu ,  

WU Xiongzhi ,  

LIANG Sirong ,  

摘要

O rastreador baseado na arquitetura Transformer, graças à sua excelente capacidade de modelagem global, apresenta desempenho destacado em precisão, mas ainda enfrenta problemas como o grande tamanho do modelo e alta latência computacional. Para resolver esse problema, este artigo propõe um método de rastreamento de alvo único leve baseado em tokens de indicação de alvo chamado TPTTrack. Este método introduz tokens de indicação de alvo, combinando-os com o modelo do alvo e as características da região de busca em uma rede backbone Transformer leve, utilizando informações prévias do alvo para guiar a interação das características entre as regiões e melhorar a robustez do rastreamento. Simultaneamente, através de um mecanismo de desacoplamento de atenção por camadas, a extração e fusão de características são realizadas nas camadas rasas, e o cálculo redundante de autoatenção é reduzido nas camadas profundas para diminuir o custo computacional. Combinado com um módulo leve de previsão sequencial autorregressiva, permite a modelagem dinâmica e a estimativa eficiente do estado do alvo. Experimentos comparativos nos conjuntos de dados GOT-10k e LaSOT mostram que o TPTTrack melhora a sobreposição média no GOT-10k em 1,4% em relação ao melhor modelo base leve e melhora a precisão no LaSOT em 1,7%. Ao mesmo tempo, o número de parâmetros e FLOPs são de apenas 5,6M e 1,82G, com velocidades de inferência em GPU e CPU alcançando 109,2 FPS e 20,43 FPS respectivamente, com um aumento de 9,1% na velocidade da CPU em comparação ao melhor modelo base leve. Em resumo, o método proposto apresenta desempenho superior em precisão, velocidade e facilidade de implantação em comparação com os algoritmos de rastreamento leve existentes, fornecendo uma solução leve para tarefas de rastreamento de alvo único em cenários com recursos limitados.

关键词

rastreamento de alvo único;Transformer;modelo leve;tokens de indicação de alvo;desacoplamento de atenção por camadas

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website