基于多机制融合增强的跨模态行人重识别方法

涂明君; 林国军; 冯凯; 马润

doi:10.37188/CJLCD.2026-0043

您当前的位置：

首页 >

文章列表页 >

基于多机制融合增强的跨模态行人重识别方法

图像处理 | 更新时间：2026-09-12

- 基于多机制融合增强的跨模态行人重识别方法
- Cross-modal pedestrian re-identification method enhanced by multi-mechanism fusion
- 液晶与显示 2026年41卷第5期页码：675-686
- 作者机构：
  
  1.四川轻化工大学自动化与信息工程学院，四川宜宾 644000
  2.智能感知与控制四川省重点实验室，四川宜宾 644000
- 作者简介：
  
  涂明君，男，硕士研究生，2024年于四川轻化工大学获得学士学位，主要从事行人重识别技术和图像处理方面的研究。E-mail：tumingjun7769@163.com
  林国军，男，博士，副教授，2014年于电子科技大学获得博士学位，主要从事人脸识别、图像处理和计算机视觉方向的研究。E-mail：tiemujian123400@ 163.com
- 基金信息：
  
  国家自然科学基金(42405145);四川省科技厅项目(2024YFHZ0026);四川省自然科学基金项目(2025ZNSFSC0477;2024NSFSC2042)
- DOI：10.37188/CJLCD.2026-0043
  中图分类号： TP391.4
- CSTR：32172.14.CJLCD.2026-0043
- 收稿：2026-03-17，
  
  修回：2026-04-10，
  
  纸质出版：2026-05-05
- 稿件说明：
移动端阅览
涂明君, 林国军, 冯凯, 等. 基于多机制融合增强的跨模态行人重识别方法[J]. 液晶与显示, 2026,41(5):675-686.

TU Mingjun, LIN Guojun, FENG Kai, et al. Cross-modal pedestrian re-identification method enhanced by multi-mechanism fusion[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(5): 675-686.
涂明君, 林国军, 冯凯, 等. 基于多机制融合增强的跨模态行人重识别方法[J]. 液晶与显示, 2026,41(5):675-686. DOI： 10.37188/CJLCD.2026-0043. CSTR： 32172.14.CJLCD.2026-0043.

TU Mingjun, LIN Guojun, FENG Kai, et al. Cross-modal pedestrian re-identification method enhanced by multi-mechanism fusion[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(5): 675-686. DOI： 10.37188/CJLCD.2026-0043. CSTR： 32172.14.CJLCD.2026-0043.

摘要

针对现有基于ViT的跨模态行人重识别方法存在的注意力噪声干扰、缺乏精细化空间关系建模及计算冗余等问题，本文提出了一种多机制融合增强的跨模态行人重识别方法。该方法以ViT为基准模型，采用多维特征融合策略提升表达能力。首先，引入差分注意力（DAM）模块，通过计算两组平行注意力图的差异，有效抑制背景中高频出现的共性噪声，显著提升模型对行人主体区域的关注度；其次，设计层级渐进的关系感知模块（RAM），自适应进行由局部到全局的空间关系建模，有效克服了ViT在处理遮挡和姿态变化时易丢失空间结构信息的局限；最后，融合十字交叉窗口自注意力（CSWA）机制，通过将特征图划分为水平和垂直条带进行并行自注意力计算，在将计算复杂度降至线性级的同时，高效捕捉长距离全局依赖。实验结果表明，在MSMT17数据集上，mAP和Rank-1分别达到68.1%和86.3%；在Occluded-Duke数据集上，mAP和Rank-1分别提升了5.5%和6.3%；在Market-1501与DukeMTMC-reID数据集上也取得了优于传统ViT的检索性能。综合结果表明，本方法有效解决了传统ViT模型在行人重识别任务中面临的特征发散和空间信息丢失问题，显著增强了模型在遮挡和复杂背景下的鲁棒性与泛化能力。

Abstract

To tackle attention noise， insufficient fine-grained spatial modeling， and computational redundancy in current Vision Transformer（ViT）-based cross-modal person re-identification（ReID） methods， a multi-mechanism fusion-enhanced framework is proposed. Building upon the ViT backbone， the proposed method leverages a multi-dimensional feature fusion strategy to optimize feature representation. Firstly， a Difference Attention Module（DAM） is introduced to compute the discrepancy between parallel attention maps， effectively filtering out high-frequency background noise and significantly enhancing the model’s focus on pedestrian targets. Secondly， a hierarchical Relation-Aware Module（RAM） is designed to adaptively conduct progressive local-to-global spatial relationship modeling. This design effectively overcomes ViT’s inherent limitation of losing spatial structural information when facing occlusions and severe pose variations. Finally， a Cross-Strip Window Attention（CSWA） mechanism is integrated. By dividing the feature maps into horizontal and vertical strips for parallel self-attention computation， the method reduces computational complexity to linear time while efficiently capturing long-range global dependencies. The superiority of the proposed method is demonstrated through extensive experiments. On the MSMT17 dataset， an mAP of 68.1% and a Rank-1 accuracy of 86.3% are achieved. On the challenging Occluded-Duke dataset， mAP and Rank-1 are improved by 5.5% and 6.3%， respectively. Furthermore， the standard ViT baseline is outperformed on both Market-1501 and DukeMTMC-reID datasets. These results indicate that the proposed framework successfully overcomes feature divergence and spatial information loss， thereby boosting robustness and generalization under occlusions and complex backgrounds.

关键词

Keywords

references

吴军，王豪爽，单腾飞，等 . 基于双自由度转台的全向空间单目视觉室内定位测量方法［J］. 中国光学（中英文）， 2024 ， 17 （ 3 ）： 605 - 616 ． doi: 10.37188/co.2023-0106 http://dx.doi.org/10.37188/co.2023-0106

WU J ， WANG H S ， SHAN T F ， et al . Omnidirectional spatial monocular vision indoor localization measurement based on a two-degree-of-freedom rotary platform ［J］. Chinese Optics ， 2024 ， 17 （ 3 ）： 605 - 616 . （in Chinese） . doi: 10.37188/co.2023-0106 http://dx.doi.org/10.37188/co.2023-0106

冯霞，杜佳浩，段仪浓，等 . 基于深度学习的行人重识别研究综述［J］. 计算机应用研究， 2020 ， 37 （ 11 ）： 3220 - 3226，3240 ．

FENG X ， DU J H ， DUAN Y N ， et al . Research on person re-identification based on deep learning ［J］. Application Research of Computers ， 2020 ， 37 （ 11 ）： 3220 - 3226， 3240 . （in Chinese）

段嗣钊，金忠 . 一种基于逐类别点到集合距离损失的行人重识别方法［J］. 计算机与数字工程， 2025 ， 53 （ 9 ）： 2609 - 2613，2633 ．

DUAN S Z ， JIN Z . A person re-identification method based on class-by-class point-to-set distance loss ［J］. Computer and Digital Engineering ， 2025 ， 53 （ 9 ）： 2609 - 2613， 2633 . （in Chinese）

SUN Y F ， ZHENG L ， LI Y L ， et al . Learning part-based convolutional features for person re-identification ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 3 ）： 902 - 917 . doi: 10.1109/tpami.2019.2938523 http://dx.doi.org/10.1109/tpami.2019.2938523

周飞燕，金林鹏，董军 . 卷积神经网络研究综述［J］. 计算机学报， 2017 ， 40 （ 6 ）： 1229 - 1251 ． doi: 10.11897/SP.J.1016.2017.01229  http://dx.doi.org/10.11897/SP.J.1016.2017.01229 

ZHOU F Y ， JIN L P ， DONG J . Review of convolutional neural network ［J］. Chinese Journal of Computers ， 2017 ， 40 （ 6 ）： 1229 - 1251 . （in Chinese） . doi: 10.11897/SP.J.1016.2017.01229  http://dx.doi.org/10.11897/SP.J.1016.2017.01229 

RAGHU M ， UNTERTHINER T ， KORNBLITH S ， et al . Do vision Transformers see like convolutional neural networks？［C］// Proceedings of the 35th International Conference on Neural Information Processing Systems . Online ： Curran Associates Inc. ， 2021 ： 927 .

童康，吴一全 . 基于深度学习的小目标检测基准研究进展［J］. 电子学报， 2024 ， 52 （ 3 ）： 1016 - 1040 ．

TONG K ， WU Y Q . Research advances on deep learning based small object detection benchmarks ［J］. Acta Electronica Sinica ， 2024 ， 52 （ 3 ）： 1016 - 1040 . （in Chinese）

CARION N ， MASSA F ， SYNNAEVE G ， et al . End-to-end object detection with transformers ［C］// Proceedings of the 16th European Conference on Computer Vision （ECCV） . Glasgow ： Springer ， 2020 ： 213 - 229 . doi: 10.1007/978-3-030-58452-8_13 http://dx.doi.org/10.1007/978-3-030-58452-8_13

张秀再，邱野，沈涛 . 基于改进SSD算法的地铁场景小行人目标检测［J］. 计算机研究与发展， 2025 ， 62 （ 2 ）： 397 - 407 ．

ZHANG X Z ， QIU Y ， SHEN T . Small pedestrian target detection in subway scene based on improved SSD algorithm ［J］. Journal of Computer Research and Development ， 2025 ， 62 （ 2 ）： 397 - 407 . （in Chinese）

DOSOVITSKIY A ， BEYER L ， KOLESNIKOV A ， et al . An image is worth 16×16 words： Transformers for image recognition at scale ［C］// Proceedings of the 9th International Conference on Learning Representations . OpenReview . net ， 2021 .

陆燕，李富，祁铭瑞，等 . 基于改进RT-DETR的夜间低光照行人检测算法［J］. 液晶与显示， 2025 ， 40 （ 12 ）： 1881 - 1893 ． doi: 10.37188/cjlcd.2025-0205 http://dx.doi.org/10.37188/cjlcd.2025-0205

LU Y ， LI F ， QI M R ， et al . Improved RT-DETR-based pedestrian detection algorithm for low-light conditions at night ［J］. Chinese Journal of Liquid Crystals and Displays ， 2025 ， 40 （ 12 ）： 1881 - 1893 . （in Chinese） . doi: 10.37188/cjlcd.2025-0205 http://dx.doi.org/10.37188/cjlcd.2025-0205

HE S T ， LUO H ， WANG P C ， et al . TransReID： Transformer-based object re-identification ［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision （ICCV） . Montreal ： IEEE ， 2021 ： 14993 - 15002 . doi: 10.1109/iccv48922.2021.01474 http://dx.doi.org/10.1109/iccv48922.2021.01474

王栋，罗亚波，张峰，等 . CORM-YOLO：低照度环境下交通行人检测算法［J］. 液晶与显示， 2025 ， 40 （ 9 ）： 1369 - 1380 ． doi: 10.37188/cjlcd.2025-0104 http://dx.doi.org/10.37188/cjlcd.2025-0104

WANG D ， LUO Y B ， ZHANG F ， et al . CORM-YOLO： pedestrian detection algorithm in low-light conditions for traffic environments ［J］. Chinese Journal of Liquid Crystals and Displays ， 2025 ， 40 （ 9 ）： 1369 - 1380 . （in Chinese） . doi: 10.37188/cjlcd.2025-0104 http://dx.doi.org/10.37188/cjlcd.2025-0104

DAI Y X ， LI X T ， LIU J ， et al . Generalizable person re-identification with relevance-aware mixture of experts ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Nashville ： IEEE ， 2021 ： 16140 - 16149 . doi: 10.1109/cvpr46437.2021.01588 http://dx.doi.org/10.1109/cvpr46437.2021.01588

王泽宇，徐慧英，朱信忠，等 . 基于YOLOv8改进的密集行人检测算法：MER-YOLO ［J］. 计算机工程与科学， 2024 ， 46 （ 6 ）： 1050 - 1062 ．

WANG Z Y ， XU H Y ， ZHU X Z ， et al . An improved dense pedestrian detection algorithm based on YOLOv8： MER-YOLO ［J］. Computer Engineering & Science ， 2024 ， 46 （ 6 ）： 1050 - 1062 . （in Chinese）

ZHU X Z ， SU W J ， LU L W ， et al . Deformable DETR： deformable Transformers for end-to-end object detection ［C］// Proceedings of the 9th International Conference on Learning Representations . Online ： OpenReview.net ， 2021 .

LI S Y ， SUN L ， LI Q L . CLIP-ReID： exploiting vision-language model for image re-identification without concrete text labels ［C］// Proceedings of the 37th AAAI Conference on Artificial Intelligence . Washington ： AAAI ， 2023 ： 1405 - 1413 . doi: 10.1609/aaai.v37i1.25225 http://dx.doi.org/10.1609/aaai.v37i1.25225

LIU Z ， LIN Y T ， CAO Y ， et al . Swin Transformer： hierarchical vision transformer using shifted windows ［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision （ICCV） . Montreal ： IEEE ， 2021 ： 9992 - 10002 . doi: 10.1109/iccv48922.2021.00986 http://dx.doi.org/10.1109/iccv48922.2021.00986

HAMMOUD H A A K ， GHANEM B . DiffCLIP： differential attention meets CLIP ［J/OL］. arXiv ， 2025 ： 2503 . 06626 .

KANG Z J ， ZHANG Y ， DENG X Y ， et al . LP-DETR： layer-wise progressive relation for object detection ［C］// Proceedings of the 21st International Conference on Advanced Intelligent Computing Technology and Applications . Ningbo ： Springer ， 2025 ： 144 - 156 . doi: 10.1007/978-981-96-9794-6_13 http://dx.doi.org/10.1007/978-981-96-9794-6_13

LIU X ， GAO P ， YU T ， et al . CSWin-UNet： Transformer UNet with cross-shaped windows for medical image segmentation ［J］. Information Fusion ， 2025 ， 113 ： 102634 . doi: 10.1016/j.inffus.2024.102634 http://dx.doi.org/10.1016/j.inffus.2024.102634

陈永，董珂，安卓奥博，等 . 密集连接注意力与尺度感知重组增强的人群计数［J］. 光学精密工程， 2024 ， 32 （ 22 ）： 3395 - 3408 ． doi: 10.37188/ope.20243222.3395 http://dx.doi.org/10.37188/ope.20243222.3395

CHEN Y ， DONG K ， AN Z A B ， et al . Crowd counting method based on dense connection attention and scale perception recombination enhancement ［J］. Optics and Precision Engineering ， 2024 ， 32 （ 22 ）： 3395 - 3408 . （in Chinese） . doi: 10.37188/ope.20243222.3395 http://dx.doi.org/10.37188/ope.20243222.3395

马晞茗，李宁，吴迪，等 . 基于头部与整体信息联合的行人检测算法［J］. 光学精密工程， 2025 ， 33 （ 14 ）： 2278 - 2290 ． doi: 10.37188/ope.20253314.2278 http://dx.doi.org/10.37188/ope.20253314.2278

MA X M ， LI N ， WU D ， et al . Pedestrian detection algorithm based on joint head and overall information ［J］. Optics and Precision Engineering ， 2025 ， 33 （ 14 ）： 2278 - 2290 . （in Chinese） . doi: 10.37188/ope.20253314.2278 http://dx.doi.org/10.37188/ope.20253314.2278

FANG X Y ， HU X N ， LI B L ， et al . Orbital angular momentum-mediated machine learning for high-accuracy mode-feature encoding ［J］. Light： Science & Applications ， 2024 ， 13 （ 1 ）： 49 . doi: 10.1038/s41377-024-01386-5 http://dx.doi.org/10.1038/s41377-024-01386-5

WANG Y F ， LIAO K ， ZHANG K ， et al . Reconfigurable versatile integrated photonic computing chip ［J］. eLight ， 2025 ， 5 （ 1 ）： 20 . doi: 10.1186/s43593-025-00098-6 http://dx.doi.org/10.1186/s43593-025-00098-6

浏览量

115

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于YOLOv5和重识别的行人多目标跟踪方法

低功耗边缘场切换液晶显示器挠曲电系数差值与闪烁的定量关系

基于挠曲电效应的场致双模式液晶切换光栅

基于多视角注意力融合的肺结核影像分类

基于空间温度扩散的OLED亮度均匀性补偿