Cross-modal pedestrian re-identification method enhanced by multi-mechanism fusion

TU Mingjun; LIN Guojun; FENG Kai; MA Run

doi:10.37188/CJLCD.2026-0043

您当前的位置：

首页 >

文章列表页 >

Cross-modal pedestrian re-identification method enhanced by multi-mechanism fusion

Image Processing | 更新时间：2026-09-12

- Cross-modal pedestrian re-identification method enhanced by multi-mechanism fusion
- Chinese Journal of Liquid Crystals and Displays Vol. 41, Issue 5, Pages: 675-686(2026)
- 作者机构：
  
  1.四川轻化工大学自动化与信息工程学院，四川宜宾 644000
  2.智能感知与控制四川省重点实验室，四川宜宾 644000
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(42405145);Science and Technology Department of Sichuan Province(2024YFHZ0026);Natural Science Foundation of Sichuan Province(2025ZNSFSC0477;2024NSFSC2042)
- DOI：10.37188/CJLCD.2026-0043
  CLC： TP391.4
- CSTR：32172.14.CJLCD.2026-0043
- Received：17 March 2026，
  
  Revised：2026-04-10，
  
  Published：05 May 2026
- 稿件说明：
移动端阅览
TU Mingjun, LIN Guojun, FENG Kai, et al. Cross-modal pedestrian re-identification method enhanced by multi-mechanism fusion[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(5): 675-686.
DOI：

TU Mingjun, LIN Guojun, FENG Kai, et al. Cross-modal pedestrian re-identification method enhanced by multi-mechanism fusion[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(5): 675-686. DOI： 10.37188/CJLCD.2026-0043. CSTR： 32172.14.CJLCD.2026-0043.

摘要

针对现有基于ViT的跨模态行人重识别方法存在的注意力噪声干扰、缺乏精细化空间关系建模及计算冗余等问题，本文提出了一种多机制融合增强的跨模态行人重识别方法。该方法以ViT为基准模型，采用多维特征融合策略提升表达能力。首先，引入差分注意力（DAM）模块，通过计算两组平行注意力图的差异，有效抑制背景中高频出现的共性噪声，显著提升模型对行人主体区域的关注度；其次，设计层级渐进的关系感知模块（RAM），自适应进行由局部到全局的空间关系建模，有效克服了ViT在处理遮挡和姿态变化时易丢失空间结构信息的局限；最后，融合十字交叉窗口自注意力（CSWA）机制，通过将特征图划分为水平和垂直条带进行并行自注意力计算，在将计算复杂度降至线性级的同时，高效捕捉长距离全局依赖。实验结果表明，在MSMT17数据集上，mAP和Rank-1分别达到68.1%和86.3%；在Occluded-Duke数据集上，mAP和Rank-1分别提升了5.5%和6.3%；在Market-1501与DukeMTMC-reID数据集上也取得了优于传统ViT的检索性能。综合结果表明，本方法有效解决了传统ViT模型在行人重识别任务中面临的特征发散和空间信息丢失问题，显著增强了模型在遮挡和复杂背景下的鲁棒性与泛化能力。

Abstract

To tackle attention noise， insufficient fine-grained spatial modeling， and computational redundancy in current Vision Transformer（ViT）-based cross-modal person re-identification（ReID） methods， a multi-mechanism fusion-enhanced framework is proposed. Building upon the ViT backbone， the proposed method leverages a multi-dimensional feature fusion strategy to optimize feature representation. Firstly， a Difference Attention Module（DAM） is introduced to compute the discrepancy between parallel attention maps， effectively filtering out high-frequency background noise and significantly enhancing the model’s focus on pedestrian targets. Secondly， a hierarchical Relation-Aware Module（RAM） is designed to adaptively conduct progressive local-to-global spatial relationship modeling. This design effectively overcomes ViT’s inherent limitation of losing spatial structural information when facing occlusions and severe pose variations. Finally， a Cross-Strip Window Attention（CSWA） mechanism is integrated. By dividing the feature maps into horizontal and vertical strips for parallel self-attention computation， the method reduces computational complexity to linear time while efficiently capturing long-range global dependencies. The superiority of the proposed method is demonstrated through extensive experiments. On the MSMT17 dataset， an mAP of 68.1% and a Rank-1 accuracy of 86.3% are achieved. On the challenging Occluded-Duke dataset， mAP and Rank-1 are improved by 5.5% and 6.3%， respectively. Furthermore， the standard ViT baseline is outperformed on both Market-1501 and DukeMTMC-reID datasets. These results indicate that the proposed framework successfully overcomes feature divergence and spatial information loss， thereby boosting robustness and generalization under occlusions and complex backgrounds.

关键词

Keywords

references

吴军，王豪爽，单腾飞，等 . 基于双自由度转台的全向空间单目视觉室内定位测量方法［J］. 中国光学（中英文）， 2024 ， 17 （ 3 ）： 605 - 616 ． doi: 10.37188/co.2023-0106 http://dx.doi.org/10.37188/co.2023-0106

WU J ， WANG H S ， SHAN T F ， et al . Omnidirectional spatial monocular vision indoor localization measurement based on a two-degree-of-freedom rotary platform ［J］. Chinese Optics ， 2024 ， 17 （ 3 ）： 605 - 616 . （in Chinese） . doi: 10.37188/co.2023-0106 http://dx.doi.org/10.37188/co.2023-0106

冯霞，杜佳浩，段仪浓，等 . 基于深度学习的行人重识别研究综述［J］. 计算机应用研究， 2020 ， 37 （ 11 ）： 3220 - 3226，3240 ．

FENG X ， DU J H ， DUAN Y N ， et al . Research on person re-identification based on deep learning ［J］. Application Research of Computers ， 2020 ， 37 （ 11 ）： 3220 - 3226， 3240 . （in Chinese）

段嗣钊，金忠 . 一种基于逐类别点到集合距离损失的行人重识别方法［J］. 计算机与数字工程， 2025 ， 53 （ 9 ）： 2609 - 2613，2633 ．

DUAN S Z ， JIN Z . A person re-identification method based on class-by-class point-to-set distance loss ［J］. Computer and Digital Engineering ， 2025 ， 53 （ 9 ）： 2609 - 2613， 2633 . （in Chinese）

SUN Y F ， ZHENG L ， LI Y L ， et al . Learning part-based convolutional features for person re-identification ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 3 ）： 902 - 917 . doi: 10.1109/tpami.2019.2938523 http://dx.doi.org/10.1109/tpami.2019.2938523

周飞燕，金林鹏，董军 . 卷积神经网络研究综述［J］. 计算机学报， 2017 ， 40 （ 6 ）： 1229 - 1251 ． doi: 10.11897/SP.J.1016.2017.01229  http://dx.doi.org/10.11897/SP.J.1016.2017.01229 

ZHOU F Y ， JIN L P ， DONG J . Review of convolutional neural network ［J］. Chinese Journal of Computers ， 2017 ， 40 （ 6 ）： 1229 - 1251 . （in Chinese） . doi: 10.11897/SP.J.1016.2017.01229  http://dx.doi.org/10.11897/SP.J.1016.2017.01229 

RAGHU M ， UNTERTHINER T ， KORNBLITH S ， et al . Do vision Transformers see like convolutional neural networks？［C］// Proceedings of the 35th International Conference on Neural Information Processing Systems . Online ： Curran Associates Inc. ， 2021 ： 927 .

童康，吴一全 . 基于深度学习的小目标检测基准研究进展［J］. 电子学报， 2024 ， 52 （ 3 ）： 1016 - 1040 ．

TONG K ， WU Y Q . Research advances on deep learning based small object detection benchmarks ［J］. Acta Electronica Sinica ， 2024 ， 52 （ 3 ）： 1016 - 1040 . （in Chinese）

CARION N ， MASSA F ， SYNNAEVE G ， et al . End-to-end object detection with transformers ［C］// Proceedings of the 16th European Conference on Computer Vision （ECCV） . Glasgow ： Springer ， 2020 ： 213 - 229 . doi: 10.1007/978-3-030-58452-8_13 http://dx.doi.org/10.1007/978-3-030-58452-8_13

张秀再，邱野，沈涛 . 基于改进SSD算法的地铁场景小行人目标检测［J］. 计算机研究与发展， 2025 ， 62 （ 2 ）： 397 - 407 ．

ZHANG X Z ， QIU Y ， SHEN T . Small pedestrian target detection in subway scene based on improved SSD algorithm ［J］. Journal of Computer Research and Development ， 2025 ， 62 （ 2 ）： 397 - 407 . （in Chinese）

DOSOVITSKIY A ， BEYER L ， KOLESNIKOV A ， et al . An image is worth 16×16 words： Transformers for image recognition at scale ［C］// Proceedings of the 9th International Conference on Learning Representations . OpenReview . net ， 2021 .

陆燕，李富，祁铭瑞，等 . 基于改进RT-DETR的夜间低光照行人检测算法［J］. 液晶与显示， 2025 ， 40 （ 12 ）： 1881 - 1893 ． doi: 10.37188/cjlcd.2025-0205 http://dx.doi.org/10.37188/cjlcd.2025-0205

LU Y ， LI F ， QI M R ， et al . Improved RT-DETR-based pedestrian detection algorithm for low-light conditions at night ［J］. Chinese Journal of Liquid Crystals and Displays ， 2025 ， 40 （ 12 ）： 1881 - 1893 . （in Chinese） . doi: 10.37188/cjlcd.2025-0205 http://dx.doi.org/10.37188/cjlcd.2025-0205

HE S T ， LUO H ， WANG P C ， et al . TransReID： Transformer-based object re-identification ［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision （ICCV） . Montreal ： IEEE ， 2021 ： 14993 - 15002 . doi: 10.1109/iccv48922.2021.01474 http://dx.doi.org/10.1109/iccv48922.2021.01474

王栋，罗亚波，张峰，等 . CORM-YOLO：低照度环境下交通行人检测算法［J］. 液晶与显示， 2025 ， 40 （ 9 ）： 1369 - 1380 ． doi: 10.37188/cjlcd.2025-0104 http://dx.doi.org/10.37188/cjlcd.2025-0104

WANG D ， LUO Y B ， ZHANG F ， et al . CORM-YOLO： pedestrian detection algorithm in low-light conditions for traffic environments ［J］. Chinese Journal of Liquid Crystals and Displays ， 2025 ， 40 （ 9 ）： 1369 - 1380 . （in Chinese） . doi: 10.37188/cjlcd.2025-0104 http://dx.doi.org/10.37188/cjlcd.2025-0104

DAI Y X ， LI X T ， LIU J ， et al . Generalizable person re-identification with relevance-aware mixture of experts ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Nashville ： IEEE ， 2021 ： 16140 - 16149 . doi: 10.1109/cvpr46437.2021.01588 http://dx.doi.org/10.1109/cvpr46437.2021.01588

王泽宇，徐慧英，朱信忠，等 . 基于YOLOv8改进的密集行人检测算法：MER-YOLO ［J］. 计算机工程与科学， 2024 ， 46 （ 6 ）： 1050 - 1062 ．

WANG Z Y ， XU H Y ， ZHU X Z ， et al . An improved dense pedestrian detection algorithm based on YOLOv8： MER-YOLO ［J］. Computer Engineering & Science ， 2024 ， 46 （ 6 ）： 1050 - 1062 . （in Chinese）

ZHU X Z ， SU W J ， LU L W ， et al . Deformable DETR： deformable Transformers for end-to-end object detection ［C］// Proceedings of the 9th International Conference on Learning Representations . Online ： OpenReview.net ， 2021 .

LI S Y ， SUN L ， LI Q L . CLIP-ReID： exploiting vision-language model for image re-identification without concrete text labels ［C］// Proceedings of the 37th AAAI Conference on Artificial Intelligence . Washington ： AAAI ， 2023 ： 1405 - 1413 . doi: 10.1609/aaai.v37i1.25225 http://dx.doi.org/10.1609/aaai.v37i1.25225

LIU Z ， LIN Y T ， CAO Y ， et al . Swin Transformer： hierarchical vision transformer using shifted windows ［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision （ICCV） . Montreal ： IEEE ， 2021 ： 9992 - 10002 . doi: 10.1109/iccv48922.2021.00986 http://dx.doi.org/10.1109/iccv48922.2021.00986

HAMMOUD H A A K ， GHANEM B . DiffCLIP： differential attention meets CLIP ［J/OL］. arXiv ， 2025 ： 2503 . 06626 .

KANG Z J ， ZHANG Y ， DENG X Y ， et al . LP-DETR： layer-wise progressive relation for object detection ［C］// Proceedings of the 21st International Conference on Advanced Intelligent Computing Technology and Applications . Ningbo ： Springer ， 2025 ： 144 - 156 . doi: 10.1007/978-981-96-9794-6_13 http://dx.doi.org/10.1007/978-981-96-9794-6_13

LIU X ， GAO P ， YU T ， et al . CSWin-UNet： Transformer UNet with cross-shaped windows for medical image segmentation ［J］. Information Fusion ， 2025 ， 113 ： 102634 . doi: 10.1016/j.inffus.2024.102634 http://dx.doi.org/10.1016/j.inffus.2024.102634

陈永，董珂，安卓奥博，等 . 密集连接注意力与尺度感知重组增强的人群计数［J］. 光学精密工程， 2024 ， 32 （ 22 ）： 3395 - 3408 ． doi: 10.37188/ope.20243222.3395 http://dx.doi.org/10.37188/ope.20243222.3395

CHEN Y ， DONG K ， AN Z A B ， et al . Crowd counting method based on dense connection attention and scale perception recombination enhancement ［J］. Optics and Precision Engineering ， 2024 ， 32 （ 22 ）： 3395 - 3408 . （in Chinese） . doi: 10.37188/ope.20243222.3395 http://dx.doi.org/10.37188/ope.20243222.3395

马晞茗，李宁，吴迪，等 . 基于头部与整体信息联合的行人检测算法［J］. 光学精密工程， 2025 ， 33 （ 14 ）： 2278 - 2290 ． doi: 10.37188/ope.20253314.2278 http://dx.doi.org/10.37188/ope.20253314.2278

MA X M ， LI N ， WU D ， et al . Pedestrian detection algorithm based on joint head and overall information ［J］. Optics and Precision Engineering ， 2025 ， 33 （ 14 ）： 2278 - 2290 . （in Chinese） . doi: 10.37188/ope.20253314.2278 http://dx.doi.org/10.37188/ope.20253314.2278

FANG X Y ， HU X N ， LI B L ， et al . Orbital angular momentum-mediated machine learning for high-accuracy mode-feature encoding ［J］. Light： Science & Applications ， 2024 ， 13 （ 1 ）： 49 . doi: 10.1038/s41377-024-01386-5 http://dx.doi.org/10.1038/s41377-024-01386-5

WANG Y F ， LIAO K ， ZHANG K ， et al . Reconfigurable versatile integrated photonic computing chip ［J］. eLight ， 2025 ， 5 （ 1 ）： 20 . doi: 10.1186/s43593-025-00098-6 http://dx.doi.org/10.1186/s43593-025-00098-6

Views

115

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Pedestrian multi-target tracking method based on YOLOv5 and person re-identification

Classification of pulmonary tuberculosis images based on multi-view attention fusion

A spatiotemporal consistency-based robust fusion method for collaborative perception

Driving response and two-stage waveform control of quantum-dot electrowetting display devices

PCB defect detection based on ZYNQ and YOLO26n

Related Author

HE Yu-ting

CHE Jin

WU Jin-man

Related Institution

School of Physics and Electronic-Electrical Engineering， Ningxia University

Ningxia Key Laboratory of Intelligent Sensing for Desert Information

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰