Semantic-preserving multimodal fusion framework for enhanced infrared-visible image segmentation using pretrained SAM

CHEN Yue; XU Feng; LI Haowen

doi:10.37188/CJLCD.2026-0051

您当前的位置：

首页 >

文章列表页 >

Semantic-preserving multimodal fusion framework for enhanced infrared-visible image segmentation using pretrained SAM

Image Processing | 更新时间：2026-09-12

- Semantic-preserving multimodal fusion framework for enhanced infrared-visible image segmentation using pretrained SAM
- Chinese Journal of Liquid Crystals and Displays Vol. 41, Issue 5, Pages: 734-753(2026)
- 作者机构：
  
  中国刑事警察学院公安信息技术与情报学院，辽宁沈阳 110854
- 作者简介：
- 基金信息：
  
  National Key R&D Program of China(2017YFC0821004);Project(LJKZZ20220007);Major Project Cultivation Program of the Fundamental Research Funds for the Central Universities
- DOI：10.37188/CJLCD.2026-0051
  CLC： TP391.41
- CSTR：32172.14.CJLCD.2026-0051
- Received：21 March 2026，
  
  Revised：2026-04-15，
  
  Published：05 May 2026
- 稿件说明：
移动端阅览
CHEN Yue, XU Feng, LI Haowen. Semantic-preserving multimodal fusion framework for enhanced infrared-visible image segmentation using pretrained SAM[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(5): 734-753.
DOI：

CHEN Yue, XU Feng, LI Haowen. Semantic-preserving multimodal fusion framework for enhanced infrared-visible image segmentation using pretrained SAM[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(5): 734-753. DOI： 10.37188/CJLCD.2026-0051. CSTR： 32172.14.CJLCD.2026-0051.

摘要

针对红外-可见光图像融合中长期存在的视觉融合质量与语义任务精度之间难以兼顾的问题，本文提出一种基于语义先验的多模态语义分割增强框架。现有红外-可见光融合方法虽然能够在一定程度上提升融合图像的视觉质量，但往往会削弱图像中的语义信息表达，从而影响下游语义分割任务的性能。为解决这一问题，本文引入预训练的SAM（Segment Anything Model）作为冻结的语义先验模型，在融合过程中对多模态特征学习进行引导，以保持语义信息的一致性。在所提框架中，RGB图像与红外图像首先部分输入SAM编码器以获取多层级视觉特征表示，同时通过专门设计的融合模块提取不同模态之间的互补特征。在各个特征阶段，SAM提取的特征通过语义保持分支进行进一步优化，并引入语义感知跨模态增强模块进行特征强化。该模块通过融合文本标签嵌入信息，提高模型对不同类别目标的响应能力，并有效提升目标边界区域的分割精度。实验结果表明，所提方法在语义信息保持能力、融合精度以及视觉重建质量等方面均取得了显著提升，验证了该框架在红外-可见光语义分割任务中的有效性与稳定性。

Abstract

To address the long-standing challenge of balancing visual fusion quality with semantic task accuracy in infrared-visible image fusion， this paper proposes a multimodal semantic segmentation enhancement framework based on a semantic prior. While existing infrared-visible fusion methods can improve the visual quality of the fused image to some extent， they often weaken the semantic information representation within the image， thus affecting the performance of downstream semantic segmentation tasks. To solve this problem， this paper introduces a pre-trained Segment Anything Model（SAM） as a frozen semantic prior model to guide multimodal feature learning during the fusion process， maintaining the consistency of semantic information. In the proposed framework， RGB and infrared images are first partially input into the SAM encoder to obtain multi-level visual feature representations. Simultaneously， a specially designed fusion module extracts complementary features between different modalities. At each feature stage， the features extracted by SAM are further optimized through a semantic preservation branch， and a semantically aware cross-modal enhancement module is further introduced for feature strengthening. This module improves the model’s responsiveness to different target categories by fusing text label embedding information and effectively enhances the segmentation accuracy of target boundary regions. Experimental results show that the proposed method has achieved significant improvements in semantic information preservation， fusion accuracy， and visual reconstruction quality， verifying the effectiveness and stability of the framework in infrared-visible semantic segmentation tasks.

关键词

Keywords

references

刘玉，于明，朱叶 . 基于双重聚合和自合并网络的小样本图像语义分割［J］. 液晶与显示， 2024 ， 39 （ 10 ）： 1421 - 1430 ． doi: 10.37188/cjlcd.2024-0151 http://dx.doi.org/10.37188/cjlcd.2024-0151

LIU Y ， YU M ， Zhu Y . Bi-aggregation and self-merging network for few-shot image semantic segmentation ［J］. Chinese Journal of Liquid Crystals and Displays ， 2024 ， 39 （ 10 ）： 1421 - 1430 . （in Chinese） . doi: 10.37188/cjlcd.2024-0151 http://dx.doi.org/10.37188/cjlcd.2024-0151

朱磊，车晨洁，姚同钰，等 . 融合多维特征的街景图像语义分割方法［J］. 液晶与显示， 2024 ， 39 （ 7 ）： 980 - 989 ． doi: 10.37188/cjlcd.2023-0208 http://dx.doi.org/10.37188/cjlcd.2023-0208

ZHU L ， CHE C J ， YAO T Y ， et al . Semantic segmentation method for street images with multi-dimensional features ［J］. Chinese Journal of Liquid Crystals and Displays ， 2024 ， 39 （ 7 ）： 980 - 989 . （in Chinese） . doi: 10.37188/cjlcd.2023-0208 http://dx.doi.org/10.37188/cjlcd.2023-0208

赵阳，杨文贵，高翠云 . 基于全局双组注意力的红外与可见光图像融合［J］. 液晶与显示， 2025 ， 40 （ 12 ）： 1840 - 1852 ． doi: 10.37188/cjlcd.2025-0195 http://dx.doi.org/10.37188/cjlcd.2025-0195

ZHAO Y ， YANG W G ， GAO C Y . Infrared and visible image fusion based on global dual-group attention ［J］. Chinese Journal of Liquid Crystals and Displays ， 2025 ， 40 （ 12 ）： 1840 - 1852 . （in Chinese） . doi: 10.37188/cjlcd.2025-0195 http://dx.doi.org/10.37188/cjlcd.2025-0195

李青松，杨莘，吴谨，等 . 基于结构纹理分解的红外与可见光图像融合算法［J］. 液晶与显示， 2023 ， 38 （ 10 ）： 1389 - 1398 ． doi: 10.37188/cjlcd.2022-0398 http://dx.doi.org/10.37188/cjlcd.2022-0398

LI Q S ， YANG S ， WU J ， et al . Infrared and visible image fusion algorithm based on structure-texture decomposition ［J］. Chinese Journal of Liquid Crystals and Displays ， 2023 ， 38 （ 10 ）： 1389 - 1398 . （in Chinese） . doi: 10.37188/cjlcd.2022-0398 http://dx.doi.org/10.37188/cjlcd.2022-0398

MA J Y ， TANG L F ， FAN F ， et al . SwinFusion： cross-domain long-range learning for general image fusion via Swin Transformer ［J］. IEEE/CAA Journal of Automatica Sinica ， 2022 ， 9 （ 7 ）： 1200 - 1217 . doi: 10.1109/jas.2022.105686 http://dx.doi.org/10.1109/jas.2022.105686

EIGEN D ， FERGUS R . Predicting depth， surface normals and semantic labels with a common multi-scale convolutional architecture ［C］. 2015 IEEE International Conference on Computer Vision （ICCV） . Santiago ： IEEE ， 2015 ： 2650 - 2658 . doi: 10.1109/iccv.2015.304 http://dx.doi.org/10.1109/iccv.2015.304

邸敬，梁婵，刘冀钊，等 . 基于跨域交互注意力和对比学习引导的红外与可见光图像融合［J］. 中国光学（中英文）， 2025 ， 18 （ 2 ）： 317 - 332 ． doi: 10.37188/co.2024-0147 http://dx.doi.org/10.37188/co.2024-0147

DI J ， LIANG C ， LIU J Z ， et al . Infrared and visible image fusion guided by cross-domain interactive attention and contrastive learning ［J］. Chinese Optics ， 2025 ， 18 （ 2 ）： 317 - 332 . （in Chinese） . doi: 10.37188/co.2024-0147 http://dx.doi.org/10.37188/co.2024-0147

HA Q S ， WATANABE K ， KARASAWA T ， et al . MFNet： towards real-time semantic segmentation for autonomous vehicles with multi-spectral scenes ［C］. 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS） . Vancouver ： IEEE ， 2017 ： 5108 - 5115 . doi: 10.1109/iros.2017.8206396 http://dx.doi.org/10.1109/iros.2017.8206396

SUN Y X ， ZUO W X ， LIU M . RTFNet： RGB-Thermal fusion network for semantic segmentation of urban scenes ［J］. IEEE Robotics and Automation Letters ， 2019 ， 4 （ 3 ）： 2576 - 2583 . doi: 10.1109/lra.2019.2904733 http://dx.doi.org/10.1109/lra.2019.2904733

刘玉，郭迎春，朱叶，等 . 基于双交叉注意力Transformer网络的小样本图像语义分割［J］. 液晶与显示， 2024 ， 39 （ 11 ）： 1494 - 1505 ． doi: 10.37188/cjlcd.2024-0151 http://dx.doi.org/10.37188/cjlcd.2024-0151

LIU Y ， GUO Y C ， ZHU Y ， et al . Dual cross-attention Transformer network for few-shot image semantic segmentation ［J］. Chinese Journal of Liquid Crystals and Displays ， 2024 ， 39 （ 11 ）： 1494 - 1505 . （in Chinese） . doi: 10.37188/cjlcd.2024-0151 http://dx.doi.org/10.37188/cjlcd.2024-0151

TOET A . The TNO multiband image data collection ［J］. Data in Brief ， 2017 ， 15 ： 249 - 251 . doi: 10.1016/j.dib.2017.09.038 http://dx.doi.org/10.1016/j.dib.2017.09.038

XU H ， MA J Y ， JIANG J J ， et al . U2Fusion： a unified unsupervised image fusion network ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2022 ， 44 （ 1 ）： 502 - 518 . doi: 10.1109/tpami.2020.3012548 http://dx.doi.org/10.1109/tpami.2020.3012548

LIU J Y ， FAN X ， HUANG Z B ， et al . Target-aware dual adversarial learning and a multi-scenario multi-modality benchmark to fuse infrared and visible for object detection ［C］. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . New Orleans ： IEEE ， 2022 ： 5792 - 5801 . doi: 10.1109/cvpr52688.2022.00571 http://dx.doi.org/10.1109/cvpr52688.2022.00571

ZHENG N S ， ZHOU M ， HUANG J ， et al . Probing synergistic high-order interaction in infrared and visible image fusion ［C］. 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ： IEEE ， 2024 ： 26374 - 26385 . doi: 10.1109/cvpr52733.2024.02492 http://dx.doi.org/10.1109/cvpr52733.2024.02492

LI H ， WU X J . DenseFuse： a fusion approach to infrared and visible images ［J］. IEEE Transactions on Image Processing ， 2019 ， 28 （ 5 ）： 2614 - 2623 . doi: 10.1109/tip.2018.2887342 http://dx.doi.org/10.1109/tip.2018.2887342

XU J ， DE MELLO S ， LIU X ， et al . X-decoder： generalized decoding for pixel， image， and language ［C］. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Vancouver ： IEEE ， 2023 ： 15186 - 15196 . doi: 10.1109/cvpr52729.2023.00289 http://dx.doi.org/10.1109/cvpr52729.2023.00289

JALALI B ， MACPHEE C . VEViD： vision enhancement via virtual diffraction and coherent detection ［J］. eLight ， 2022 ， 2 （ 1 ）： 24 . doi: 10.1186/s43593-022-00034-y http://dx.doi.org/10.1186/s43593-022-00034-y

ZHAO Z X ， BAI H W ， ZHU Y Z ， et al . DDFM： denoising diffusion model for multi-modality image fusion ［C］// 2023 IEEE/CVF International Conference on Computer Vision （ICCV） . Paris ： IEEE ， 2023 ： 8048 - 8059 . doi: 10.1109/iccv51070.2023.00742 http://dx.doi.org/10.1109/iccv51070.2023.00742

卢鹏，刘楷贇，邹国良，等 . 基于多特征融合和卷积神经网络的无参考图像质量评价［J］. 液晶与显示， 2022 ， 37 （ 1 ）： 66 - 76 ． doi: 10.37188/CJLCD.2021-0175 http://dx.doi.org/10.37188/CJLCD.2021-0175

LU P ， LIU K Y ， ZOU G L ， et al . No reference image quality assessment based on fusion of multiple features and convolutional neural network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2022 ， 37 （ 1 ）： 66 - 76 . （in Chinese） . doi: 10.37188/CJLCD.2021-0175 http://dx.doi.org/10.37188/CJLCD.2021-0175

ZUO C ， QIAN J M ， FENG S J ， et al . Deep learning in optical metrology： a review ［J］. Light： Science & Applications ， 2022 ， 11 （ 1 ）： 39 . doi: 10.1038/s41377-022-00714-x http://dx.doi.org/10.1038/s41377-022-00714-x

ZHAO Z X ， DENG L L ， BAI H W ， et al . Image fusion via vision-language model ［C］// Proceedings of the 41st International Conference on Machine Learning . Vienna ： OpenReview.net ， 2024 ： 60749 - 60765 .

KIRILLOV A ， MINTUN E ， RAVI N ， et al . Segment anything ［C］. 2023 IEEE/CVF International Conference on Computer Vision （ICCV） . Paris ： IEEE ， 2023 ： 3992 - 4003 . doi: 10.1109/iccv51070.2023.00371 http://dx.doi.org/10.1109/iccv51070.2023.00371

BURT P ， ADELSON E . The Laplacian pyramid as a compact image code ［J］. IEEE Transactions on Communications ， 1983 ， 31 （ 4 ）： 532 - 540 . doi: 10.1109/tcom.1983.1095851 http://dx.doi.org/10.1109/tcom.1983.1095851

MALLAT S G . A theory for multiresolution signal decomposition： the wavelet representation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 1989 ， 11 （ 7 ）： 674 - 693 . doi: 10.1109/34.192463 http://dx.doi.org/10.1109/34.192463

邬开俊，张治瑞，汪滢，等 . 全局感知与多尺度特征融合的城市道路语义分割［J］. 光学精密工程， 2025 ， 33 （ 14 ）： 2262 - 2277 ． doi: 10.37188/ope.20253314.2262 http://dx.doi.org/10.37188/ope.20253314.2262

WU K J ， ZHANG Z R ， WANG Y ， et al . Urban road semantic segmentation with global awareness and multi-scale feature fusion ［J］. Optics and Precision Engineering ， 2025 ， 33 （ 14 ）： 2262 - 2277 . （in Chinese） . doi: 10.37188/ope.20253314.2262 http://dx.doi.org/10.37188/ope.20253314.2262

WILLIAMS C ， COUSINS R ， MELLOR C J ， et al . Hyperpixels： pixel filter arrays of multivariate optical elements for optimized spectral imaging ［J］. Light： Advanced Manufacturing ， 2025 ， 6 （ 4 ）： 734 - 751 . doi: 10.37188/lam.2025.067 http://dx.doi.org/10.37188/lam.2025.067

YANG B ， LI S T . Multifocus image fusion and restoration with sparse representation ［J］. IEEE Transactions on Instrumentation and Measurement ， 2010 ， 59 （ 4 ）： 884 - 892 . doi: 10.1109/tim.2009.2026612 http://dx.doi.org/10.1109/tim.2009.2026612

LI S T ， KANG X D ， HU J W . Image fusion with guided filtering ［J］. IEEE Transactions on Image Processing ， 2013 ， 22 （ 7 ）： 2864 - 2875 . doi: 10.1109/tip.2013.2244222 http://dx.doi.org/10.1109/tip.2013.2244222

ZHAO Z X ， DENG L L ， BAI H W ， et al . Image fusion via vision-language model ［C］// Proceedings of the 41st International Conference on Machine Learning . Vienna ： JMLR.org ， 2024 ： 2513 .

RADFORD A ， KIM J W ， HALLACY C ， et al . Learning transferable visual models from natural language supervision ［C］// Proceedings of the 38th International Conference on Machine Learning . Online ： PMLR ， 2021 ： 8748 - 8763 . doi: 10.48550/arXiv.2103.00020 http://dx.doi.org/10.48550/arXiv.2103.00020

ZHOU K Y ， YANG J K ， LOY C C ， et al . Learning to prompt for vision-language models ［J］. International Journal of Computer Vision ， 2022 ， 130 （ 9 ）： 2337 - 2348 . doi: 10.1007/s11263-022-01653-1 http://dx.doi.org/10.1007/s11263-022-01653-1

ZHANG H ， ZUO X H ， JIANG J ， et al . MRFS： mutually reinforcing image fusion and segmentation ［C］. 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ： IEEE ， 2024 ： 26974 - 26983 . doi: 10.1109/cvpr52733.2024.02547 http://dx.doi.org/10.1109/cvpr52733.2024.02547

LIU J Y ， LIU Z ， WU G Y ， et al . Multi-interactive feature learning and a full-time multi-modality benchmark for image fusion and segmentation ［C］. 2023 IEEE/CVF International Conference on Computer Vision （ICCV） . Paris ： IEEE ， 2023 ： 8081 - 8090 . doi: 10.1109/iccv51070.2023.00745 http://dx.doi.org/10.1109/iccv51070.2023.00745

GU L ， LUO X Q ， LIU Y ， et al . SAM-guided multi-level collaborative Transformer for infrared and visible image fusion ［J］. Pattern Recognition ， 2025 ， 162 ： 111391 . doi: 10.1016/j.patcog.2025.111391 http://dx.doi.org/10.1016/j.patcog.2025.111391

ZHANG X Y ， LI J J ， FAN G D ， et al . SGDFuse： SAM-guided diffusion model for high-fidelity infrared and visible image fusion ［J］. Information Fusion ， 2026 ， 133 ： 104290 . doi: 10.1016/j.inffus.2026.104290 http://dx.doi.org/10.1016/j.inffus.2026.104290

TOET A . The TNO multiband image data collection ［J］. Data in Brief ， 2017 ， 15 ： 249 - 251 . doi: 10.1016/j.dib.2017.09.038 http://dx.doi.org/10.1016/j.dib.2017.09.038

XU H ， MA J Y ， LE Z L ， et al . FusionDN： A unified densely connected network for image fusion ［C］// Proceedings of the Thirty-Fourth AAAI Conference on Artificial Intelligence . New York ： AAAI Press ， 2020 ： 12484 - 12491 . doi: 10.1609/aaai.v34i07.6936 http://dx.doi.org/10.1609/aaai.v34i07.6936

TANG L F ， YUAN J T ， ZHANG H ， et al . PIAFusion： a progressive infrared and visible image fusion network based on illumination aware ［J］. Information Fusion ， 2022 ， 83-84 ： 79 - 92 . doi: 10.1016/j.inffus.2022.03.007 http://dx.doi.org/10.1016/j.inffus.2022.03.007

WANG Z ， SIMONCELLI E P ， BOVIK A C . Multiscale structural similarity for image quality assessment ［C］. The Thirty-Seventh Asilomar Conference on Signals ， Systems & Computers ， 2003 . Pacific Grove ： IEEE ， 2003： 1398 - 1402 . doi: 10.1109/acssc.2003.1292181 http://dx.doi.org/10.1109/acssc.2003.1292181

ASLANTAS V ， BENDES E . A new image quality metric for image fusion： the sum of the correlations of differences ［J］. AEU-International Journal of Electronics and Communications ， 2015 ， 69 （ 12 ）： 1890 - 1896 . doi: 10.1016/j.aeue.2015.09.004 http://dx.doi.org/10.1016/j.aeue.2015.09.004

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Field-induced dual-mode switchable liquid crystal grating based on flexoelectric effect

Liquid crystal geometric phase planar optical elements based on polarized laser direct writing induced photoalignment

中国科学院长春光学精密机械与物理研究所液晶光学团队

Low-light images enhancement via unsaturated stochastic resonance based on Gaussian radial basis functions

Compensation of OLED brightness uniformity based on spatial temperature gradient

Related Author

No data

Related Institution

No data

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰