Méthode de détection d’objets en temps de brouillard basée sur Mamba-Transformer intégrant la compression des états cachés et la perception des dépendances spatiales

CHEN Yue ,  

XU Feng ,  

SONG Jinghao ,  

摘要

Dans des conditions météorologiques complexes et des scènes dynamiques, la détection de petits objets est facilement perturbée par le brouillard et l’affaiblissement des caractéristiques, les méthodes existantes présentent encore des lacunes en termes de temps réel et de robustesse. À cet effet, cet article vise à construire un modèle de détection à la fois efficace et robuste pour améliorer les performances de détection des petits objets par temps de brouillard. Nous proposons le réseau de détection hybride basé sur Mamba-Transformer, nommé HS-MambaDet. Tout d’abord, une structure dorsale HSM-SSD intégrant la compression des états cachés et la modélisation de l’espace d’état est conçue pour réduire la complexité calculatoire ; ensuite, un fusionneur multi-échelle fréquence-espace (MFSF) comprenant un module de perception des hautes fréquences et un module de perception de dépendance spatiale est introduit pour renforcer l’expression des détails des petits objets et la modélisation du contexte spatial. Le cadre global adopte une architecture hybride CNN, Transformer et Mamba, assurant respectivement l’extraction des caractéristiques locales, la modélisation du contexte global et la combinaison efficace de la structure récursive linéaire. De nombreuses expériences sur les bases de données RTTS et CityScapes montrent que HS-MambaDet surpasse les modèles actuels en précision et efficacité. La précision prédictive du modèle complet sur RTTS est de 87,3%, le rappel de 73,1%, le mAP@0.5 de 81,2%, le mAP@(0.5~0.95) de 51,0%, avec des améliorations maximales de 3,8%, 3,9%, 3,6% et 3,3% par rapport aux modèles concurrents ; le temps d’inférence est de 0,26 s, assurant une bonne réactivité. De plus, dans les scènes de petits objets, le modèle améliore le mAP@0.5 jusqu’à 4,4% et montre une meilleure capacité de généralisation lors des tests avec différentes intensités de brouillard. HS-MambaDet, grâce à l’introduction d’un mécanisme efficace de compression des états cachés et d’une structure de fusion multi-échelle fréquence-espace, améliore efficacement la perception des détails et la modélisation spatiale des petits objets dans des conditions de brouillard, obtenant des avantages significatifs en précision, robustesse et efficacité d’inférence, offrant une solution viable et efficace pour la détection d’objets en temps réel dans des environnements dynamiques difficiles.

关键词

détection d’objets; Mamba; perception des hautes fréquences; compression des états cachés fusionnée

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website