Метод обнаружения объектов в туманную погоду на основе Mamba-Transformer с интеграцией сжатия скрытых состояний и пространственного зависимого восприятия

CHEN Yue ,  

XU Feng ,  

SONG Jinghao ,  

摘要

В сложных метеоусловиях и динамичных сценах обнаружение небольших объектов подвержено влиянию тумана и ослаблению признаков, существующие методы все еще недостаточно эффективны с точки зрения быстродействия и устойчивости. В связи с этим в данной работе ставится цель создания модели обнаружения с высокой эффективностью и сильной устойчивостью для повышения качества обнаружения мелких объектов в туманный день. Предлагается гибридная сеть обнаружения пространственных состояний HS-MambaDet на основе Mamba-Transformer. Сначала разработана базовая структура HSM-SSD, объединяющая сжатие скрытых состояний и моделирование пространства состояний для уменьшения вычислительной сложности; затем введён многоуровневый частотно-пространственный интегратор (MFSF) с модулями восприятия высоких частот и пространственных зависимостей для усиления детального выражения мелких объектов и пространственного контекстного моделирования. Общая архитектура сочетает в себе CNN, Transformer и Mamba, обеспечивая локальное извлечение признаков, глобальное контекстное моделирование и эффективное объединение линейной рекурсивной структуры. Обширные эксперименты на наборах данных RTTS и CityScapes показали, что HS-MambaDet превосходит современные модели как по точности, так и по эффективности. Точность предсказания полной модели на RTTS составила 87.3%, полнота — 73.1%, mAP@0.5 — 81.2%, mAP@(0.5~0.95) — 51.0%, с максимальным улучшением по сравнению с образцами на 3.8%, 3.9%, 3.6% и 3.3% соответственно; время вывода составляет 0.26 с, что обеспечивает хорошую оперативность. Кроме того, в сценах с мелкими объектами максимальное улучшение mAP@0.5 достигло 4.4%, а в тестах с разной интенсивностью тумана модель показала более высокую обобщающую способность. HS-MambaDet эффективно улучшает восприятие деталей и пространственное моделирование мелких объектов при туманной погоде благодаря введению механизма сжатия скрытых состояний и многоуровневой частотно-пространственной интеграции, достигая значительных преимуществ в точности, устойчивости и эффективности вывода, предлагая жизнеспособное и эффективное решение для обнаружения объектов в динамичных сложных условиях.

关键词

обнаружение объектов; Mamba; восприятие высоких частот; интеграция сжатия скрытых состояний

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website