Mamba-Transformer foggy object detection method integrating hidden state compression and spatial dependency perception

CHEN Yue; XU Feng; SONG Jinghao

doi:10.37188/CJLCD.2025-0245

您当前的位置：

首页 >

文章列表页 >

Mamba-Transformer foggy object detection method integrating hidden state compression and spatial dependency perception

Image Processing | 更新时间：2026-09-12

- Mamba-Transformer foggy object detection method integrating hidden state compression and spatial dependency perception
- Chinese Journal of Liquid Crystals and Displays Vol. 41, Issue 2, Pages: 222-239(2026)
- 作者机构：
  
  中国刑事警察学院公安信息技术与情报学院，辽宁沈阳 110854
- 作者简介：
- 基金信息：
  
  National Key R&D Program of China(2017YFC0821004);Project(LJKZZ20220007);2022 Major Fundamental Research Project of the Liaoning Provincial Department of Education(3242022004)
- DOI：10.37188/CJLCD.2025-0245
  CLC： TP391.4
- CSTR：32172.14.CJLCD.2025-0245
- Received：02 December 2025，
  
  Revised：2026-01-17，
  
  Published：05 February 2026
- 稿件说明：
移动端阅览
CHEN Yue, XU Feng, SONG Jinghao. Mamba-Transformer foggy object detection method integrating hidden state compression and spatial dependency perception[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(2): 222-239.
DOI：

CHEN Yue, XU Feng, SONG Jinghao. Mamba-Transformer foggy object detection method integrating hidden state compression and spatial dependency perception[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(2): 222-239. DOI： 10.37188/CJLCD.2025-0245. CSTR： 32172.14.CJLCD.2025-0245.

摘要

在复杂天气与动态场景下，小目标检测易受到雾霾干扰和特征弱化的影响，现有方法在实时性和鲁棒性方面仍存在不足。为此，本文旨在构建一种兼具高效性与强鲁棒性的检测模型，以提升雾天小目标检测性能。本文提出基于 Mamba-Transformer的混合状态空间检测网络HS-MambaDet。首先设计融合隐藏状态压缩与状态空间建模的HSM-SSD骨干结构以降低计算复杂度；随后引入包含高频感知模块与空间依赖感知模块的多尺度频空融合器（MFSF），强化小目标的细节表达与空间上下文建模。整体框架采用CNN、Transformer与Mamba的混合架构，分别实现局部特征提取、全局上下文建模与线性递归结构的高效结合。在RTTS与CityScapes数据集上的大量实验表明，HS-MambaDet在精度与效率上均优于当前主流模型。完整模型在RTTS上的预测精度为87.3%、召回率为73.1%、mAP@0.5为81.2%、mAP@（0.5~0.95）为51.0%，分别较对比模型最高提升3.8%、3.9%、3.6%和3.3%；同时推理时间为0.26 s，保持了良好的实时性。此外，在小目标场景中，本模型的mAP@0.5提升最多达4.4%，并在跨雾强度测试中表现出更强的泛化能力。HS-MambaDet通过引入高效的隐藏状态压缩机制与多尺度频空融合结构，有效增强了雾天条件下对小目标的细节感知和空间建模能力，在检测精度、鲁棒性与推理效率上均取得显著优势，为动态恶劣环境中的实时目标检测提供了一种可行且高效的解决方案。

Abstract

Object detection in foggy and dynamic environments remains challenging， especially for small objects whose features are easily degraded by low visibility. Existing methods often suffer from insufficient robustness and limited real-time performance. This study aims to develop a high-efficiency and highly robust detection framework tailored for foggy small-object detection. We propose HS-MambaDet， a hybrid state-space detection network built upon the Mamba-Transformer architecture. A hidden-state compression-enhanced backbone（HSM-SSD） is designed to reduce computational overhead while preserving global dependency modeling. Additionally， a Multi-scale Frequency-Spatial Fusion（MFSF） module—consisting of a high-frequency perception branch and a spatial dependency modeling branch—is introduced to enhance fine-grained details and long-range spatial relations for small objects. The overall framework integrates CNN， Transformer， and Mamba components to jointly capture local textures， global context， and efficient sequential dependencies. Extensive experiments on the RTTS and CityScapes datasets demonstrate that HS-MambaDet outperforms mainstream SOTA models in both accuracy and efficiency. On RTTS， the complete model achieves 87.3% precision， 73.1% recall， 81.2% mAP@0.5， and 51.0% mAP@（0.5~0.95）， exceeding the best comparison baselines by up to 3.8%， 3.9%， 3.6%， and 3.3%， respectively. The inference time remains low at 0.26 s， ensuring real-time capability. In small-object scenarios， HS-MambaDet improves mAP@0.5 by up to 4.4%， and cross-domain tests under varying fog intensities further verify its superior generalization and robustness. By combining hidden state compression with multi-scale frequency-spatial fusion， HS-MambaDet effectively enhances fine-detail perception and spatial dependency modeling under foggy conditions. The proposed framework achieves strong performance in accuracy， robustness， and inference speed， offering a practical and efficient solution for real-time object detection in adverse weather and dynamic environments.

关键词

Keywords

references

李士刚，王维佳，朱圣杰，等 . 基于时空三维卷积网络的复杂背景下红外弱小目标检测方法［J］. 液晶与显示， 2025 ， 40 （ 11 ）： 1688 - 1699 . doi: 10.37188/cjlcd.2025-0161 http://dx.doi.org/10.37188/cjlcd.2025-0161

LI S G ， WANG W J ， ZHU S J ， et al . Detection method for infrared dim and small targets under complex backgrounds via a spatio-temporal three-dimensional convolutional network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2025 ， 40 （ 11 ）： 1688 - 1699 . （in Chinese） . doi: 10.37188/cjlcd.2025-0161 http://dx.doi.org/10.37188/cjlcd.2025-0161

张洋，孙海江，张笑闻，等 . 基于局部上下文增强的快速3D弱特征目标检测方法［J］. 液晶与显示， 2025 ， 40 （ 11 ）： 1675 - 1687 . doi: 10.37188/cjlcd.2025-0145 http://dx.doi.org/10.37188/cjlcd.2025-0145

ZHANG Y ， SUN H J ， ZHANG X W ， et al . Fast 3D weak feature object detection method based on local context enhancement ［J］. Chinese Journal of Liquid Crystals and Displays ， 2025 ， 40 （ 11 ）： 1675 - 1687 . （in Chinese） . doi: 10.37188/cjlcd.2025-0145 http://dx.doi.org/10.37188/cjlcd.2025-0145

牛海鹏，颜昌翔，王一霖，等 . 基于快速局部对比度和目标特征的星图弱小目标检测算法［J］. 液晶与显示， 2024 ， 39 （ 1 ）： 69 - 78 . doi: 10.37188/cjlcd.2023-0060 http://dx.doi.org/10.37188/cjlcd.2023-0060

NIU H P ， YAN C X ， WANG Y L ， et al . Star map spatial target detection method based on fast local contrast and target features ［J］. Chinese Journal of Liquid Crystals and Displays ， 2024 ， 39 （ 1 ）： 69 - 78 . （in Chinese） . doi: 10.37188/cjlcd.2023-0060 http://dx.doi.org/10.37188/cjlcd.2023-0060

张志豪，厉小润，陈淑涵 . 基于改进YOLO11的无人机航拍图像小目标检测算法［J］. 液晶与显示， 2025 ， 40 （ 6 ）： 915 - 930 . doi: 10.37188/cjlcd.2025-0010 http://dx.doi.org/10.37188/cjlcd.2025-0010

ZHANG Z H ， LI X R ， CHEN S H . Small object detection algorithm in UAV aerial images based on improved YOLO11 ［J］. Chinese Journal of Liquid Crystals and Displays ， 2025 ， 40 （ 6 ）： 915 - 930 . （in Chinese） . doi: 10.37188/cjlcd.2025-0010 http://dx.doi.org/10.37188/cjlcd.2025-0010

王栋，罗亚波，张峰，等 . CORM-YOLO：低照度环境下交通行人检测算法［J］. 液晶与显示， 2025 ， 40 （ 9 ）： 1369 - 1380 . doi: 10.37188/cjlcd.2025-0104 http://dx.doi.org/10.37188/cjlcd.2025-0104

WANG D ， LUO Y B ， ZHANG F ， et al . CORM-YOLO： pedestrian detection algorithm in low-light conditions for traffic environments ［J］. Chinese Journal of Liquid Crystals and Displays ， 2025 ， 40 （ 9 ）： 1369 - 1380 . （in Chinese） . doi: 10.37188/cjlcd.2025-0104 http://dx.doi.org/10.37188/cjlcd.2025-0104

LUO Y H ， CAO X ， ZHANG J T ， et al . CE-FPN： enhancing channel information for object detection ［J］. Multimedia Tools and Applications ， 2022 ， 81 （ 21 ）： 30685 - 30704 . doi: 10.1007/s11042-022-11940-1 http://dx.doi.org/10.1007/s11042-022-11940-1

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［C］// Proceedings of the 29th International Conference on Neural Information Processing Systems . Montreal ： MIT Press ， 2015 ： 91 - 99 .

DOSOVITSKIY A ， BEYER L ， KOLESNIKOV A ， et al . An image is worth 16×16 words： Transformers for image recognition at scale ［C］// Proceedings of the 9th International Conference on Learning Representations . Online ： OpenReview.net ， 2021 .

KRIZHEVSKY A ， SUTSKEVER I ， HINTON G E . ImageNet classification with deep convolutional neural networks ［C］// Proceedings of the 26th International Conference on Neural Information Processing Systems . Lake Tahoe ： Curran Associates Inc. ， 2012 ： 1097 - 1105 .

LIU Z ， MAO H Z ， WU C Y ， et al . A ConvNet for the 2020s ［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . New Orleans ： IEEE ， 2022 ： 11966 - 11976 . doi: 10.1109/cvpr52688.2022.01167 http://dx.doi.org/10.1109/cvpr52688.2022.01167

RADOSAVOVIC I ， KOSARAJU R P ， GIRSHICK R B ， et al . Designing network design spaces ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ： IEEE ， 2020 ： 10425 - 10433 . doi: 10.1109/cvpr42600.2020.01044 http://dx.doi.org/10.1109/cvpr42600.2020.01044

TAN M X ， LE Q V . EfficientNet： rethinking model scaling for convolutional neural networks ［C］// Proceedings of the 36th International Conference on Machine Learning . Long Beach ： PMLR ， 2019 ： 6105 - 6114 .

KIM J ， KONG J ， SON J . Conditional variational autoencoder with adversarial learning for end-to-end text-to-speech ［C］// Proceedings of the 38th International Conference on Machine Learning . Online ： PMLR ， 2021 ： 5530 - 5540 . doi: 10.48550/arXiv.2106.06103 http://dx.doi.org/10.48550/arXiv.2106.06103

TOUVRON H ， CORD M ， JÉGOU H . DeiT Ⅲ： revenge of the ViT ［C］. 17th European Conference on Computer Vision . Tel Aviv， Israel ： Springer ， 2022 ： 516 - 533 . doi: 10.1007/978-3-031-20053-3_30 http://dx.doi.org/10.1007/978-3-031-20053-3_30

LIU Z ， LIN Y T ， CAO Y ， et al . Swin Transformer： hierarchical vision Transformer using shifted windows ［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision . Montreal ： IEEE ， 2021 ： 9992 - 10002 . doi: 10.1109/iccv48922.2021.00986 http://dx.doi.org/10.1109/iccv48922.2021.00986

WANG W H ， XIE E Z ， LI X ， et al . Pyramid vision Transformer： a versatile backbone for dense prediction without convolutions ［C］. 2021 IEEE/CVF International Conference on Computer Vision （ICCV） . Montreal ： IEEE ， 2021 ： 548 - 558 . doi: 10.1109/iccv48922.2021.00061 http://dx.doi.org/10.1109/iccv48922.2021.00061

XU W J ， XU Y F ， CHANG T ， et al . Co-scale conv-attentional image Transformers ［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision . Montreal ： IEEE ， 2021 ： 9961 - 9970 . doi: 10.1109/iccv48922.2021.00983 http://dx.doi.org/10.1109/iccv48922.2021.00983

CHEN C F R ， FAN Q F ， PANDA R . CrossViT： cross-attention multi-scale vision Transformer for image classification ［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision . Montreal ： IEEE ， 2021 ： 347 - 356 . doi: 10.1109/iccv48922.2021.00041 http://dx.doi.org/10.1109/iccv48922.2021.00041

LI J S ， XIA X ， LI W ， et al . Next-ViT： next generation vision Transformer for efficient deployment in realistic industrial scenarios ［J/OL］. arXiv ， 2022 ： 2207 . 05501 .

LI Y Y ， YUAN G ， WEN Y ， et al . EfficientFormer： vision Transformers at MobileNet speed ［C］// Proceedings of the 36th International Conference on Neural Information Processing Systems . New Orleans ： Curran Associates Inc. ， 2022 ： 940 .

HATAMIZADEH A ， HEINRICH G ， YIN H X ， et al . FasterViT： fast vision Transformers with hierarchical attention ［C］// Proceedings of the 12th International Conference on Learning Representations . Vienna ： OpenReview.net ， 2024 .

ZHU L H ， LIAO B C ， ZHANG Q ， et al . Vision Mamba： efficient visual representation learning with bidirectional state space model ［C］// Proceedings of the 41st International Conference on Machine Learning . Vienna ： OpenReview.net ， 2024 ： 62429 - 62442 .

LIU Y ， TIAN Y J ， ZHAO Y Z ， et al . VMamba： visual state space model ［C］// Proceedings of the 38th International Conference on Neural Information Processing Systems . Vancouver ： Curran Associates Inc. ， 2024 ： 3273 . doi: 10.52202/079017-3273 http://dx.doi.org/10.52202/079017-3273

PEI X H ， HUANG T ， XU C . EfficientVMamba： atrous selective scan for light weight visual Mamba ［C］// Proceedings of the 39th AAAI Conference on Artificial Intelligence . Philadelphia ： AAAI ， 2025 ： 6443 - 6451 . doi: 10.1609/aaai.v39i6.32690 http://dx.doi.org/10.1609/aaai.v39i6.32690

PATRO B N ， AGNEESWARAN V S . SiMBA： simplified Mamba-based architecture for vision and multivariate time series ［J/OL］. arXiv ， 2024 ： 2403 . 15360 . doi: 10.1109/icassp49660.2025.10890315 http://dx.doi.org/10.1109/icassp49660.2025.10890315

王伯霄，宋延嵩，董小娜 . 难点注意力感知红外小目标检测网络［J］. 中国光学（中英文）， 2024 ， 17 （ 3 ）： 538 - 547 . doi: 10.37188/co.2023-0178 http://dx.doi.org/10.37188/co.2023-0178

WANG B X ， SONG Y S ， DONG X N . Indistinguishable points attention-aware network for infrared small object detection ［J］. Chinese Optics ， 2024 ， 17 （ 3 ）： 538 - 547 . （in Chinese） . doi: 10.37188/co.2023-0178 http://dx.doi.org/10.37188/co.2023-0178

何梦云，何自芬，张印辉，等 . 用于水下声呐目标检测的弱特征共焦通道调控方法［J］. 中国光学（中英文）， 2024 ， 17 （ 6 ）： 1281 - 1296 . doi: 10.37188/co.2024-0031 http://dx.doi.org/10.37188/co.2024-0031

HE M Y ， HE Z F ， ZHANG Y H ， et al . Weak feature confocal channel regulation for underwater sonar target detection ［J］. Chinese Optics ， 2024 ， 17 （ 6 ）： 1281 - 1296 . （in Chinese） . doi: 10.37188/co.2024-0031 http://dx.doi.org/10.37188/co.2024-0031

Views

408

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Lightweight detection of foreign objects on road surfaces in challenging driving environments

Wild small object detection algorithm based on improved YOLO11n

YOLO26-DeepSpace： a multi-scale and multi-target detection and tracking network for dim and small targets in deep space

Madulous： a dual-branch traffic target detection algorithm based on multi-attention mechanisms

Compensation of OLED brightness uniformity based on spatial temperature gradient

Related Author

CHEN Yue

XU Feng

SONG Jinghao

ZHANG Chuanwei

SHANG Zhaobin

ZHANG Jiale

XU Jing

YAO Hao

Related Institution

School of Public Security Information Technology and Intelligence， Criminal Investigation Police University of China

School of Mechanical Engineering， Xi′an University of Science and Technology， Xi′an

Shaanxi College of Communications Technology， Xi′an

School of Electronic and Information Engineering， Changchun University of Science and Technology

Jilin Communications Polytechnic

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰