En respuesta a los problemas de ruido en la atención, falta de modelado fino de relaciones espaciales y redundancia computacional presentes en los métodos actuales de reidentificación de peatones multimodal basados en ViT, este artículo propone un método de reidentificación de peatones multimodal mejorado mediante la fusión de múltiples mecanismos. El método utiliza ViT como modelo base y adopta una estrategia de fusión de características multidimensionales para mejorar la capacidad de expresión. Primero, se introduce el módulo de atención diferencial (DAM), que calcula la diferencia entre dos conjuntos de mapas de atención paralelos, suprimiendo eficazmente el ruido común de alta frecuencia en el fondo, mejorando significativamente la atención del modelo en las áreas principales del peatón; en segundo lugar, se diseña un módulo de percepción de relaciones progresivas jerárquicas (RAM), que modela adaptativamente las relaciones espaciales de local a global, superando eficazmente las limitaciones de ViT en la pérdida de información estructural espacial al tratar oclusiones y cambios de postura; finalmente, se integra el mecanismo de atención cruzada de ventanas (CSWA), que divide el mapa de características en bandas horizontales y verticales para realizar cálculos paralelos de atención, reduciendo la complejidad computacional a nivel lineal y capturando eficazmente dependencias globales a larga distancia. Los resultados experimentales muestran que en el conjunto de datos MSMT17, mAP y Rank-1 alcanzan 68.1% y 86.3% respectivamente; en el conjunto Occluded-Duke, mAP y Rank-1 aumentan en 5.5% y 6.3% respectivamente; en los conjuntos Market-1501 y DukeMTMC-reID también se logra un rendimiento superior al ViT tradicional. Los resultados generales indican que este método resuelve eficazmente los problemas de dispersión de características y pérdida de información espacial en modelos ViT tradicionales para tareas de reidentificación de peatones, mejorando significativamente la robustez y la capacidad de generalización del modelo en entornos con oclusiones y fondos complejos.

reidentificación de peatones;multimodal;ViT;DAM;CSWA;RAM