基于预训练SAM的语义保持红外-可见光多模态融合语义分割方法

陈悦; 许锋; 李昊文

doi:10.37188/CJLCD.2026-0051

您当前的位置：

首页 >

文章列表页 >

基于预训练SAM的语义保持红外-可见光多模态融合语义分割方法

图像处理 | 更新时间：2026-09-12

- 基于预训练SAM的语义保持红外-可见光多模态融合语义分割方法
- Semantic-preserving multimodal fusion framework for enhanced infrared-visible image segmentation using pretrained SAM
- 液晶与显示 2026年41卷第5期页码：734-753
- 作者机构：
  
  中国刑事警察学院公安信息技术与情报学院，辽宁沈阳 110854
- 作者简介：
  
  陈悦，男，硕士研究生，2022年于江苏科技大学获得学士学位，主要研究方向为计算机视觉、目标检测等。E-mail：13338939052@163.com
  许锋，男，博士，教授，二级警监，2006年于东北大学获得博士学位，主要研究方向为视频侦查、刑事影像等。E-mail：7677759@ qq.com
- 基金信息：
  
  十三五国家重点研发技术项目(2017YFC0821004);2022辽宁省教育厅基本科研重大攻关项目(LJKZZ20220007);中央高校基本科研业务重大项目培育计划
- DOI：10.37188/CJLCD.2026-0051
  中图分类号： TP391.41
- CSTR：32172.14.CJLCD.2026-0051
- 收稿：2026-03-21，
  
  修回：2026-04-15，
  
  纸质出版：2026-05-05
- 稿件说明：
移动端阅览
陈悦, 许锋, 李昊文. 基于预训练SAM的语义保持红外-可见光多模态融合语义分割方法[J]. 液晶与显示, 2026,41(5):734-753.

CHEN Yue, XU Feng, LI Haowen. Semantic-preserving multimodal fusion framework for enhanced infrared-visible image segmentation using pretrained SAM[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(5): 734-753.
陈悦, 许锋, 李昊文. 基于预训练SAM的语义保持红外-可见光多模态融合语义分割方法[J]. 液晶与显示, 2026,41(5):734-753. DOI： 10.37188/CJLCD.2026-0051. CSTR： 32172.14.CJLCD.2026-0051.

CHEN Yue, XU Feng, LI Haowen. Semantic-preserving multimodal fusion framework for enhanced infrared-visible image segmentation using pretrained SAM[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(5): 734-753. DOI： 10.37188/CJLCD.2026-0051. CSTR： 32172.14.CJLCD.2026-0051.

摘要

针对红外-可见光图像融合中长期存在的视觉融合质量与语义任务精度之间难以兼顾的问题，本文提出一种基于语义先验的多模态语义分割增强框架。现有红外-可见光融合方法虽然能够在一定程度上提升融合图像的视觉质量，但往往会削弱图像中的语义信息表达，从而影响下游语义分割任务的性能。为解决这一问题，本文引入预训练的SAM（Segment Anything Model）作为冻结的语义先验模型，在融合过程中对多模态特征学习进行引导，以保持语义信息的一致性。在所提框架中，RGB图像与红外图像首先部分输入SAM编码器以获取多层级视觉特征表示，同时通过专门设计的融合模块提取不同模态之间的互补特征。在各个特征阶段，SAM提取的特征通过语义保持分支进行进一步优化，并引入语义感知跨模态增强模块进行特征强化。该模块通过融合文本标签嵌入信息，提高模型对不同类别目标的响应能力，并有效提升目标边界区域的分割精度。实验结果表明，所提方法在语义信息保持能力、融合精度以及视觉重建质量等方面均取得了显著提升，验证了该框架在红外-可见光语义分割任务中的有效性与稳定性。

Abstract

To address the long-standing challenge of balancing visual fusion quality with semantic task accuracy in infrared-visible image fusion， this paper proposes a multimodal semantic segmentation enhancement framework based on a semantic prior. While existing infrared-visible fusion methods can improve the visual quality of the fused image to some extent， they often weaken the semantic information representation within the image， thus affecting the performance of downstream semantic segmentation tasks. To solve this problem， this paper introduces a pre-trained Segment Anything Model（SAM） as a frozen semantic prior model to guide multimodal feature learning during the fusion process， maintaining the consistency of semantic information. In the proposed framework， RGB and infrared images are first partially input into the SAM encoder to obtain multi-level visual feature representations. Simultaneously， a specially designed fusion module extracts complementary features between different modalities. At each feature stage， the features extracted by SAM are further optimized through a semantic preservation branch， and a semantically aware cross-modal enhancement module is further introduced for feature strengthening. This module improves the model’s responsiveness to different target categories by fusing text label embedding information and effectively enhances the segmentation accuracy of target boundary regions. Experimental results show that the proposed method has achieved significant improvements in semantic information preservation， fusion accuracy， and visual reconstruction quality， verifying the effectiveness and stability of the framework in infrared-visible semantic segmentation tasks.

关键词

Keywords

references

刘玉，于明，朱叶 . 基于双重聚合和自合并网络的小样本图像语义分割［J］. 液晶与显示， 2024 ， 39 （ 10 ）： 1421 - 1430 ． doi: 10.37188/cjlcd.2024-0151 http://dx.doi.org/10.37188/cjlcd.2024-0151

LIU Y ， YU M ， Zhu Y . Bi-aggregation and self-merging network for few-shot image semantic segmentation ［J］. Chinese Journal of Liquid Crystals and Displays ， 2024 ， 39 （ 10 ）： 1421 - 1430 . （in Chinese） . doi: 10.37188/cjlcd.2024-0151 http://dx.doi.org/10.37188/cjlcd.2024-0151

朱磊，车晨洁，姚同钰，等 . 融合多维特征的街景图像语义分割方法［J］. 液晶与显示， 2024 ， 39 （ 7 ）： 980 - 989 ． doi: 10.37188/cjlcd.2023-0208 http://dx.doi.org/10.37188/cjlcd.2023-0208

ZHU L ， CHE C J ， YAO T Y ， et al . Semantic segmentation method for street images with multi-dimensional features ［J］. Chinese Journal of Liquid Crystals and Displays ， 2024 ， 39 （ 7 ）： 980 - 989 . （in Chinese） . doi: 10.37188/cjlcd.2023-0208 http://dx.doi.org/10.37188/cjlcd.2023-0208

赵阳，杨文贵，高翠云 . 基于全局双组注意力的红外与可见光图像融合［J］. 液晶与显示， 2025 ， 40 （ 12 ）： 1840 - 1852 ． doi: 10.37188/cjlcd.2025-0195 http://dx.doi.org/10.37188/cjlcd.2025-0195

ZHAO Y ， YANG W G ， GAO C Y . Infrared and visible image fusion based on global dual-group attention ［J］. Chinese Journal of Liquid Crystals and Displays ， 2025 ， 40 （ 12 ）： 1840 - 1852 . （in Chinese） . doi: 10.37188/cjlcd.2025-0195 http://dx.doi.org/10.37188/cjlcd.2025-0195

李青松，杨莘，吴谨，等 . 基于结构纹理分解的红外与可见光图像融合算法［J］. 液晶与显示， 2023 ， 38 （ 10 ）： 1389 - 1398 ． doi: 10.37188/cjlcd.2022-0398 http://dx.doi.org/10.37188/cjlcd.2022-0398

LI Q S ， YANG S ， WU J ， et al . Infrared and visible image fusion algorithm based on structure-texture decomposition ［J］. Chinese Journal of Liquid Crystals and Displays ， 2023 ， 38 （ 10 ）： 1389 - 1398 . （in Chinese） . doi: 10.37188/cjlcd.2022-0398 http://dx.doi.org/10.37188/cjlcd.2022-0398

MA J Y ， TANG L F ， FAN F ， et al . SwinFusion： cross-domain long-range learning for general image fusion via Swin Transformer ［J］. IEEE/CAA Journal of Automatica Sinica ， 2022 ， 9 （ 7 ）： 1200 - 1217 . doi: 10.1109/jas.2022.105686 http://dx.doi.org/10.1109/jas.2022.105686

EIGEN D ， FERGUS R . Predicting depth， surface normals and semantic labels with a common multi-scale convolutional architecture ［C］. 2015 IEEE International Conference on Computer Vision （ICCV） . Santiago ： IEEE ， 2015 ： 2650 - 2658 . doi: 10.1109/iccv.2015.304 http://dx.doi.org/10.1109/iccv.2015.304

邸敬，梁婵，刘冀钊，等 . 基于跨域交互注意力和对比学习引导的红外与可见光图像融合［J］. 中国光学（中英文）， 2025 ， 18 （ 2 ）： 317 - 332 ． doi: 10.37188/co.2024-0147 http://dx.doi.org/10.37188/co.2024-0147

DI J ， LIANG C ， LIU J Z ， et al . Infrared and visible image fusion guided by cross-domain interactive attention and contrastive learning ［J］. Chinese Optics ， 2025 ， 18 （ 2 ）： 317 - 332 . （in Chinese） . doi: 10.37188/co.2024-0147 http://dx.doi.org/10.37188/co.2024-0147

HA Q S ， WATANABE K ， KARASAWA T ， et al . MFNet： towards real-time semantic segmentation for autonomous vehicles with multi-spectral scenes ［C］. 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS） . Vancouver ： IEEE ， 2017 ： 5108 - 5115 . doi: 10.1109/iros.2017.8206396 http://dx.doi.org/10.1109/iros.2017.8206396

SUN Y X ， ZUO W X ， LIU M . RTFNet： RGB-Thermal fusion network for semantic segmentation of urban scenes ［J］. IEEE Robotics and Automation Letters ， 2019 ， 4 （ 3 ）： 2576 - 2583 . doi: 10.1109/lra.2019.2904733 http://dx.doi.org/10.1109/lra.2019.2904733

刘玉，郭迎春，朱叶，等 . 基于双交叉注意力Transformer网络的小样本图像语义分割［J］. 液晶与显示， 2024 ， 39 （ 11 ）： 1494 - 1505 ． doi: 10.37188/cjlcd.2024-0151 http://dx.doi.org/10.37188/cjlcd.2024-0151

LIU Y ， GUO Y C ， ZHU Y ， et al . Dual cross-attention Transformer network for few-shot image semantic segmentation ［J］. Chinese Journal of Liquid Crystals and Displays ， 2024 ， 39 （ 11 ）： 1494 - 1505 . （in Chinese） . doi: 10.37188/cjlcd.2024-0151 http://dx.doi.org/10.37188/cjlcd.2024-0151

TOET A . The TNO multiband image data collection ［J］. Data in Brief ， 2017 ， 15 ： 249 - 251 . doi: 10.1016/j.dib.2017.09.038 http://dx.doi.org/10.1016/j.dib.2017.09.038

XU H ， MA J Y ， JIANG J J ， et al . U2Fusion： a unified unsupervised image fusion network ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2022 ， 44 （ 1 ）： 502 - 518 . doi: 10.1109/tpami.2020.3012548 http://dx.doi.org/10.1109/tpami.2020.3012548

LIU J Y ， FAN X ， HUANG Z B ， et al . Target-aware dual adversarial learning and a multi-scenario multi-modality benchmark to fuse infrared and visible for object detection ［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . New Orleans ： IEEE ， 2022 ： 5792 - 5801 . doi: 10.1109/cvpr52688.2022.00571 http://dx.doi.org/10.1109/cvpr52688.2022.00571

ZHENG N S ， ZHOU M ， HUANG J ， et al . Probing synergistic high-order interaction in infrared and visible image fusion ［C］. 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ： IEEE ， 2024 ： 26374 - 26385 . doi: 10.1109/cvpr52733.2024.02492 http://dx.doi.org/10.1109/cvpr52733.2024.02492

LI H ， WU X J . DenseFuse： a fusion approach to infrared and visible images ［J］. IEEE Transactions on Image Processing ， 2019 ， 28 （ 5 ）： 2614 - 2623 . doi: 10.1109/tip.2018.2887342 http://dx.doi.org/10.1109/tip.2018.2887342

XU J ， DE MELLO S ， LIU X ， et al . X-decoder： generalized decoding for pixel， image， and language ［C］. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Vancouver ： IEEE ， 2023 ： 15186 - 15196 . doi: 10.1109/cvpr52729.2023.00289 http://dx.doi.org/10.1109/cvpr52729.2023.00289

JALALI B ， MACPHEE C . VEViD： vision enhancement via virtual diffraction and coherent detection ［J］. eLight ， 2022 ， 2 （ 1 ）： 24 . doi: 10.1186/s43593-022-00034-y http://dx.doi.org/10.1186/s43593-022-00034-y

ZHAO Z X ， BAI H W ， ZHU Y Z ， et al . DDFM： denoising diffusion model for multi-modality image fusion ［C］// 2023 IEEE/CVF International Conference on Computer Vision （ICCV） . Paris ： IEEE ， 2023 ： 8048 - 8059 . doi: 10.1109/iccv51070.2023.00742 http://dx.doi.org/10.1109/iccv51070.2023.00742

卢鹏，刘楷贇，邹国良，等 . 基于多特征融合和卷积神经网络的无参考图像质量评价［J］. 液晶与显示， 2022 ， 37 （ 1 ）： 66 - 76 ． doi: 10.37188/CJLCD.2021-0175 http://dx.doi.org/10.37188/CJLCD.2021-0175

LU P ， LIU K Y ， ZOU G L ， et al . No reference image quality assessment based on fusion of multiple features and convolutional neural network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2022 ， 37 （ 1 ）： 66 - 76 . （in Chinese） . doi: 10.37188/CJLCD.2021-0175 http://dx.doi.org/10.37188/CJLCD.2021-0175

ZUO C ， QIAN J M ， FENG S J ， et al . Deep learning in optical metrology： a review ［J］. Light： Science & Applications ， 2022 ， 11 （ 1 ）： 39 . doi: 10.1038/s41377-022-00714-x http://dx.doi.org/10.1038/s41377-022-00714-x

ZHAO Z X ， DENG L L ， BAI H W ， et al . Image fusion via vision-language model ［C］// Proceedings of the 41st International Conference on Machine Learning . Vienna ： OpenReview.net ， 2024 ： 60749 - 60765 .

KIRILLOV A ， MINTUN E ， RAVI N ， et al . Segment anything ［C］. 2023 IEEE/CVF International Conference on Computer Vision （ICCV） . Paris ： IEEE ， 2023 ： 3992 - 4003 . doi: 10.1109/iccv51070.2023.00371 http://dx.doi.org/10.1109/iccv51070.2023.00371

BURT P ， ADELSON E . The Laplacian pyramid as a compact image code ［J］. IEEE Transactions on Communications ， 1983 ， 31 （ 4 ）： 532 - 540 . doi: 10.1109/tcom.1983.1095851 http://dx.doi.org/10.1109/tcom.1983.1095851

MALLAT S G . A theory for multiresolution signal decomposition： the wavelet representation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 1989 ， 11 （ 7 ）： 674 - 693 . doi: 10.1109/34.192463 http://dx.doi.org/10.1109/34.192463

邬开俊，张治瑞，汪滢，等 . 全局感知与多尺度特征融合的城市道路语义分割［J］. 光学精密工程， 2025 ， 33 （ 14 ）： 2262 - 2277 ． doi: 10.37188/ope.20253314.2262 http://dx.doi.org/10.37188/ope.20253314.2262

WU K J ， ZHANG Z R ， WANG Y ， et al . Urban road semantic segmentation with global awareness and multi-scale feature fusion ［J］. Optics and Precision Engineering ， 2025 ， 33 （ 14 ）： 2262 - 2277 . （in Chinese） . doi: 10.37188/ope.20253314.2262 http://dx.doi.org/10.37188/ope.20253314.2262

WILLIAMS C ， COUSINS R ， MELLOR C J ， et al . Hyperpixels： pixel filter arrays of multivariate optical elements for optimized spectral imaging ［J］. Light： Advanced Manufacturing ， 2025 ， 6 （ 4 ）： 734 - 751 . doi: 10.37188/lam.2025.067 http://dx.doi.org/10.37188/lam.2025.067

YANG B ， LI S T . Multifocus image fusion and restoration with sparse representation ［J］. IEEE Transactions on Instrumentation and Measurement ， 2010 ， 59 （ 4 ）： 884 - 892 . doi: 10.1109/tim.2009.2026612 http://dx.doi.org/10.1109/tim.2009.2026612

LI S T ， KANG X D ， HU J W . Image fusion with guided filtering ［J］. IEEE Transactions on Image Processing ， 2013 ， 22 （ 7 ）： 2864 - 2875 . doi: 10.1109/tip.2013.2244222 http://dx.doi.org/10.1109/tip.2013.2244222

ZHAO Z X ， DENG L L ， BAI H W ， et al . Image fusion via vision-language model ［C］// Proceedings of the 41st International Conference on Machine Learning . Vienna ： JMLR.org ， 2024 ： 2513 .

RADFORD A ， KIM J W ， HALLACY C ， et al . Learning transferable visual models from natural language supervision ［C］// Proceedings of the 38th International Conference on Machine Learning . Online ： PMLR ， 2021 ： 8748 - 8763 . doi: 10.48550/arXiv.2103.00020 http://dx.doi.org/10.48550/arXiv.2103.00020

ZHOU K Y ， YANG J K ， LOY C C ， et al . Learning to prompt for vision-language models ［J］. International Journal of Computer Vision ， 2022 ， 130 （ 9 ）： 2337 - 2348 . doi: 10.1007/s11263-022-01653-1 http://dx.doi.org/10.1007/s11263-022-01653-1

ZHANG H ， ZUO X H ， JIANG J ， et al . MRFS： mutually reinforcing image fusion and segmentation ［C］. 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ： IEEE ， 2024 ： 26974 - 26983 . doi: 10.1109/cvpr52733.2024.02547 http://dx.doi.org/10.1109/cvpr52733.2024.02547

LIU J Y ， LIU Z ， WU G Y ， et al . Multi-interactive feature learning and a full-time multi-modality benchmark for image fusion and segmentation ［C］. 2023 IEEE/CVF International Conference on Computer Vision （ICCV） . Paris ： IEEE ， 2023 ： 8081 - 8090 . doi: 10.1109/iccv51070.2023.00745 http://dx.doi.org/10.1109/iccv51070.2023.00745

GU L ， LUO X Q ， LIU Y ， et al . SAM-guided multi-level collaborative Transformer for infrared and visible image fusion ［J］. Pattern Recognition ， 2025 ， 162 ： 111391 . doi: 10.1016/j.patcog.2025.111391 http://dx.doi.org/10.1016/j.patcog.2025.111391

ZHANG X Y ， LI J J ， FAN G D ， et al . SGDFuse： SAM-guided diffusion model for high-fidelity infrared and visible image fusion ［J］. Information Fusion ， 2026 ， 133 ： 104290 . doi: 10.1016/j.inffus.2026.104290 http://dx.doi.org/10.1016/j.inffus.2026.104290

TOET A . The TNO multiband image data collection ［J］. Data in Brief ， 2017 ， 15 ： 249 - 251 . doi: 10.1016/j.dib.2017.09.038 http://dx.doi.org/10.1016/j.dib.2017.09.038

XU H ， MA J Y ， LE Z L ， et al . FusionDN： A unified densely connected network for image fusion ［C］// Proceedings of the Thirty-Fourth AAAI Conference on Artificial Intelligence . New York ： AAAI Press ， 2020 ： 12484 - 12491 . doi: 10.1609/aaai.v34i07.6936 http://dx.doi.org/10.1609/aaai.v34i07.6936

TANG L F ， YUAN J T ， ZHANG H ， et al . PIAFusion： a progressive infrared and visible image fusion network based on illumination aware ［J］. Information Fusion ， 2022 ， 83-84 ： 79 - 92 . doi: 10.1016/j.inffus.2022.03.007 http://dx.doi.org/10.1016/j.inffus.2022.03.007

WANG Z ， SIMONCELLI E P ， BOVIK A C . Multiscale structural similarity for image quality assessment ［C］. The Thirty-Seventh Asilomar Conference on Signals ， Systems & Computers ， 2003 . Pacific Grove ： IEEE ， 2003： 1398 - 1402 . doi: 10.1109/acssc.2003.1292181 http://dx.doi.org/10.1109/acssc.2003.1292181

ASLANTAS V ， BENDES E . A new image quality metric for image fusion： the sum of the correlations of differences ［J］. AEU-International Journal of Electronics and Communications ， 2015 ， 69 （ 12 ）： 1890 - 1896 . doi: 10.1016/j.aeue.2015.09.004 http://dx.doi.org/10.1016/j.aeue.2015.09.004

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

人眼视觉特性引导的频率感知无参考图像质量评价方法

基于时空一致性的协同感知鲁棒融合方法

中国科学院长春光学精密机械与物理研究所液晶光学团队——聚焦动态可重构智能液晶光子器件与系统的研究

喷墨打印液晶配向膜厚度的TOF-SIMS深度分析方法

基于挠曲电效应的场致双模式液晶切换光栅