Als Antwort auf Probleme wie Aufmerksamkeitsrauschen, fehlende feine räumliche Beziehungsmodellierung und Rechenübermäßigkeit bei bestehenden ViT-basierten multimodalen Personenzuordnungsverfahren schlägt dieser Artikel eine multimodal gestärkte Personenzuordnungs-methode mit Mehrmechanismenfusion vor. Die Methode verwendet ViT als Basismodell und nutzt eine mehrdimensionale Merkmalfusionstrategie zur Verbesserung der Ausdrucksfähigkeit. Zunächst wird das Differentielle Aufmerksamkeitsmodul (DAM) eingeführt, das durch Berechnung der Differenz zwischen zwei parallelen Aufmerksamkeitskarten häufig auftretenden hochfrequenten Hintergrundrauschen effektiv unterdrückt und die Aufmerksamkeit des Modells auf die Hauptbereich des Fußgängers deutlich erhöht; zweitens wird ein hierarchisch progressives Relationswahrnehmungsmodul (RAM) entworfen, das adaptiv räumliche Beziehungen vom Lokal- zum Globalbereich modelliert und die Einschränkungen von ViT bei der Verarbeitung von Verdeckungen und Haltungsänderungen, die zum Verlust räumlicher Strukturinformationen führen, effektiv überwindet; schließlich wird der Kreuzfensterselbstaufmerksamkeitsmechanismus (CSWA) integriert, der die Merkmalskarte in horizontale und vertikale Streifen unterteilt und parallele Selbstaufmerksamkeitsberechnungen ermöglicht, wodurch die Rechenkomplexität auf lineares Niveau gesenkt und gleichzeitig langreichweitige globale Abhängigkeiten effizient erfasst werden. Experimentelle Ergebnisse zeigen, dass auf dem MSMT17-Datensatz mAP und Rank-1 jeweils 68,1 % und 86,3 % erreichen; auf dem Occluded-Duke-Datensatz steigen mAP und Rank-1 um 5,5 % bzw. 6,3 %; und auch auf den Datensätzen Market-1501 und DukeMTMC-reID werden bessere Leistung als bei traditionellem ViT erzielt. Die Gesamtergebnisse zeigen, dass die Methode effektiv die Probleme der Merkmalsstreuung und des Verlusts räumlicher Informationen in traditionellen ViT-Modellen für Personenzuordnungsaufgaben löst und die Robustheit und Generalisierungsfähigkeit des Modells bei Verdeckungen und komplexen Hintergründen signifikant verbessert.

Personenzuordnung;multimodal;ViT;DAM;CSWA;RAM