Mamba-Transformer basierte Nebelerkennungsmethode für Objekte mit Integration von versteckter Zustandskompression und räumlicher Abhängigkeitswahrnehmung

CHEN Yue ,  

XU Feng ,  

SONG Jinghao ,  

摘要

Unter komplexen Wetterbedingungen und dynamischen Szenen ist die Erkennung kleiner Objekte leicht durch Nebelstörungen und Merkmalsschwächung beeinträchtigt, und vorhandene Methoden sind in Echtzeitfähigkeit und Robustheit weiterhin unzureichend. Daher zielt diese Arbeit darauf ab, ein Detektionsmodell zu entwickeln, das sowohl effizient als auch robust ist, um die Leistung der Kleinstobjekterkennung bei Nebel zu verbessern. Es wird das hybride Zustandsraumerkennungsnetzwerk HS-MambaDet auf Basis des Mamba-Transformers vorgeschlagen. Zunächst wurde die HSM-SSD-Rückgratstruktur entworfen, die die Kompression versteckter Zustände mit der Zustandsraummodellierung kombiniert, um die Rechenkomplexität zu reduzieren; anschließend wurde der mehrskalige Frequenz-Raum-Fusor (MFSF) eingeführt, der ein Hochfrequenzwahrnehmungsmodul und ein räumliches Abhängigkeitswahrnehmungsmodul enthält, um die Detaildarstellung kleiner Objekte und die räumliche Kontextmodellierung zu stärken. Das Gesamtrahmenwerk verwendet eine hybride Architektur aus CNN, Transformer und Mamba, die jeweils die lokale Merkmalsextraktion, globale Kontextmodellierung und die effiziente Kombination der linearen rekursiven Struktur realisieren. Umfangreiche Experimente auf den Datensätzen RTTS und CityScapes zeigen, dass HS-MambaDet sowohl bei Genauigkeit als auch Effizienz aktuelle Hauptmodelle übertrifft. Die Vorhersagegenauigkeit des vollständigen Modells auf RTTS beträgt 87,3 %, die Recall-Rate 73,1 %, mAP@0.5 81,2 %, mAP@(0.5~0.95) 51,0 %, mit maximalen Verbesserungen von 3,8 %, 3,9 %, 3,6 % bzw. 3,3 % gegenüber den Vergleichsmodellen; die Inferenzzeit beträgt 0,26 s und gewährleistet eine gute Echtzeitfähigkeit. Darüber hinaus verbessert das Modell in Szenen mit kleinen Objekten den mAP@0.5 um bis zu 4,4 % und zeigt bei Tests mit unterschiedlicher Nebeldichte eine stärkere Generalisierungsfähigkeit. HS-MambaDet verstärkt effektiv die Detailwahrnehmung und räumliche Modellierung kleiner Objekte bei Nebelbedingungen durch die Einführung eines effizienten Mechanismus zur Kompression versteckter Zustände und einer mehrskaligen Frequenz-Raum-Fusionsstruktur und erzielt bedeutende Vorteile in Genauigkeit, Robustheit und Inferenz-Effizienz, und bietet eine praktikable und effiziente Lösung für die Echtzeiterkennung von Objekten in dynamischen, widrigen Umgebungen.

关键词

Objekterkennung; Mamba; Hochfrequenzwahrnehmung; integrierte Kompression versteckter Zustände

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website