기존 ViT 기반의 크로스 모달 보행자 재인식 방법에서 나타나는 주의력 노이즈 간섭, 세밀한 공간 관계 모델링 부족 및 연산 중복 등의 문제를 해결하기 위해, 본 논문에서는 다중 메커니즘 융합 강화 크로스 모달 보행자 재인식 방법을 제안한다. 이 방법은 ViT를 기준 모델로 삼고 다차원 특징 융합 전략을 사용하여 표현 능력을 향상시킨다. 먼저, 차분 주의력(DAM) 모듈을 도입하여 두 개의 평행한 주의력 맵 사이의 차이를 계산함으로써 배경에 자주 나타나는 고주파 공통 노이즈를 효과적으로 억제하고 모델이 보행자 주요 영역에 대한 집중도를 크게 향상시킨다; 둘째, 계층적 점진적 관계 인지 모듈(RAM)을 설계하여 국소에서 전역까지 적응적으로 공간 관계를 모델링하며, 가림 및 자세 변화 처리 시 공간 구조 정보 손실의 한계를 효과적으로 극복한다; 마지막으로, 십자 교차 윈도우 자기 주의력(CSWA) 메커니즘을 융합하여 특징 맵을 수평 및 수직 띠로 나누어 병렬 자기 주의력 계산을 수행하며, 계산 복잡도를 선형 수준으로 낮추면서 장거리 전역 의존성을 효율적으로 포착한다. 실험 결과, MSMT17 데이터셋에서 mAP와 Rank-1은 각각 68.1%와 86.3%를 기록하였고, Occluded-Duke 데이터셋에서는 mAP와 Rank-1이 각각 5.5%, 6.3% 향상되었으며, Market-1501 및 DukeMTMC-reID 데이터셋에서도 기존 ViT보다 우수한 검색 성능을 달성하였다. 종합 결과는 본 방법이 기존 ViT 모델이 보행자 재인식 작업에서 직면하는 특징 분산 및 공간 정보 손실 문제를 효과적으로 해결하고, 가림 및 복잡한 배경 환경에서 모델의 강인성과 일반화 능력을 크게 강화함을 보여준다.

보행자 재인식;크로스 모달;ViT;DAM;CSWA;RAM