En réponse aux problèmes de bruit dans l'attention, de manque de modélisation fine des relations spatiales et de redondance computationnelle présents dans les méthodes actuelles de ré-identification piétonne multimodale basées sur ViT, cet article propose une méthode de ré-identification piétonne multimodale renforcée par la fusion de mécanismes multiples. Cette méthode prend ViT comme modèle de base et utilise une stratégie de fusion de caractéristiques multidimensionnelles pour améliorer la capacité d'expression. Tout d'abord, un module d'attention différentielle (DAM) est introduit ; il calcule la différence entre deux ensembles de cartes d'attention parallèles, supprimant efficacement les bruits communs à haute fréquence dans le fond, améliorant ainsi significativement l'attention du modèle sur les zones principales du piéton ; ensuite, un module de perception relationnelle progressive hiérarchique (RAM) est conçu, modélisant de manière adaptative les relations spatiales du local au global, ce qui surmonte efficacement la limitation de ViT qui perd des informations structurelles spatiales lors du traitement des occlusions et des variations de posture ; enfin, une mécanisme d'attention croisée en fenêtres (CSWA) est intégré, divisant la carte des caractéristiques en bandes horizontales et verticales pour un calcul parallèle de l'attention, réduisant la complexité computationnelle à un niveau linéaire tout en capturant efficacement les dépendances globales à longue portée. Les résultats expérimentaux montrent que sur le jeu de données MSMT17, les mAP et Rank-1 atteignent respectivement 68,1 % et 86,3 % ; sur le jeu Occluded-Duke, les mAP et Rank-1 augmentent respectivement de 5,5 % et 6,3 % ; sur les jeux Market-1501 et DukeMTMC-reID, des performances supérieures au ViT traditionnel sont également obtenues. Les résultats globaux démontrent que cette méthode résout efficacement les problèmes de divergence des caractéristiques et de perte d'informations spatiales dans les modèles ViT traditionnels pour la ré-identification piétonne, renforçant significativement la robustesse et la capacité de généralisation du modèle dans des environnements avec occlusions et contextes complexes.

ré-identification piétonne;multimodal;ViT;DAM;CSWA;RAM