Leichtgewichtiger Transformer-basierter Ein-Objekt-Tracking-Algorithmus mit Ziel-Hinweis-Token

ZHU Haoran ,  

WANG Zheng ,  

ZHANG Haifeng ,  

CHEN Weining ,  

HE Zeyu ,  

WU Xiongzhi ,  

LIANG Sirong ,  

摘要

Der Transformer-Architektur-Tracker zeichnet sich durch seine hervorragende globale Modellierungsfähigkeit aus und erzielt eine hohe Genauigkeit, weist aber weiterhin Probleme wie große Modellgröße und hohe Berechnungsverzögerung auf. Zur Lösung dieses Problems wird in diesem Artikel eine leichte Transformer-basierte Ein-Objekt-Tracking-Methode namens TPTTrack vorgestellt, die auf Ziel-Hinweis-Token basiert. Diese Methode führt Ziel-Hinweis-Token ein und speist sie zusammen mit Zielvorlage und Suchbereichsmerkmalen in ein leichtgewichtiges Transformer-Backbone-Netzwerk ein, wobei die Zielpriorisierung die merkmalsübergreifende Interaktion leitet und die Tracking-Robustheit verbessert. Gleichzeitig wird durch einen schichtweisen Aufmerksamkeitsentkopplungsmechanismus in den flachen Schichten die Merkmalsextraktion und -fusion durchgeführt und in den tiefen Schichten redundante Selbstaufmerksamkeitsberechnungen reduziert, um den Rechenaufwand zu verringern. Durch die Kombination mit einem leichten autoregressiven Sequenzvorhersagemodul wird eine dynamische Modellierung und effiziente Schätzung des Zielstatus erreicht. Vergleichende Experimente auf den Datensätzen GOT-10k und LaSOT zeigen, dass TPTTrack die durchschnittliche Überlappung auf GOT-10k um 1,4% gegenüber dem besten leichten Basismodell verbessert und die Genauigkeit auf LaSOT um 1,7% erhöht. Gleichzeitig beträgt die Anzahl der Parameter und FLOPs nur 5,6M bzw. 1,82G, mit Inferenzgeschwindigkeiten von 109,2 FPS auf GPU und 20,43 FPS auf CPU, wobei die CPU-Geschwindigkeit im Vergleich zum besten leichten Basismodell um 9,1% gesteigert wird. Zusammenfassend zeigt die vorgeschlagene Methode im Vergleich zu bestehenden leichten Tracking-Algorithmen hervorragende Leistungen in Bezug auf Genauigkeit, Geschwindigkeit und Bereitstellungsfreundlichkeit und bietet eine leichte Lösung für Single-Object-Tracking-Aufgaben in ressourcenbeschränkten Szenarien.

关键词

Ein-Objekt-Tracking;Transformer;leichtes Modell;Ziel-Hinweis-Token;schichtweises Aufmerksamkeitsentkopplen

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website