Método de detección de objetivos en días de niebla basado en Mamba-Transformer que integra compresión del estado oculto y percepción de la dependencia espacial

CHEN Yue ,  

XU Feng ,  

SONG Jinghao ,  

摘要

En condiciones meteorológicas complejas y entornos dinámicos, la detección de pequeños objetos es fácilmente afectada por la niebla y el debilitamiento de las características, y los métodos existentes aún presentan deficiencias en cuanto a tiempo real y robustez. Por ello, este artículo tiene como objetivo construir un modelo de detección eficiente y robusto para mejorar el rendimiento en la detección de pequeños objetos en días de niebla. Se propone la red híbrida de detección en espacio de estados basada en Mamba-Transformer llamada HS-MambaDet. Primero se diseñó la estructura principal HSM-SSD que fusiona la compresión del estado oculto con la modelización del espacio de estados para reducir la complejidad computacional; luego se introdujo el fusionador multiescala espacio-frecuencia (MFSF), que incluye un módulo de percepción de alta frecuencia y un módulo de percepción de dependencia espacial para fortalecer la expresión detallada de los pequeños objetivos y la modelización del contexto espacial. El marco general adopta una arquitectura híbrida de CNN, Transformer y Mamba, para realizar respectivamente la extracción de características locales, la modelización del contexto global y la combinación eficiente de la estructura recursiva lineal. Numerosos experimentos en los conjuntos de datos RTTS y CityScapes demuestran que HS-MambaDet supera a los modelos principales actuales en precisión y eficiencia. La precisión de predicción del modelo completo en RTTS es del 87.3%, la tasa de recuperación del 73.1%, mAP@0.5 de 81.2%, mAP@(0.5~0.95) de 51.0%, con mejoras máximas de 3.8%, 3.9%, 3.6% y 3.3% respectivamente en comparación con los modelos de referencia; el tiempo de inferencia es de 0.26 s, manteniendo una buena capacidad en tiempo real. Además, en escenarios de pequeños objetivos, el mAP@0.5 del modelo aumenta hasta un 4.4%, y muestra una mayor capacidad de generalización en pruebas con diferentes intensidades de niebla. HS-MambaDet, al introducir un mecanismo eficiente de compresión del estado oculto y una estructura de fusión multiescala espacio-frecuencia, mejora efectivamente la percepción de detalles y la modelización espacial de los pequeños objetivos bajo condiciones de niebla, logrando ventajas significativas en precisión, robustez y eficiencia de inferencia, proporcionando una solución viable y eficiente para la detección en tiempo real de objetivos en entornos dinámicos adversos.

关键词

detección de objetivos; Mamba; percepción de alta frecuencia; compresión integrada del estado oculto

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website