В ответ на проблемы помех в внимании, отсутствия точного моделирования пространственных отношений и вычислительного избыточности в существующих методах кроссмодальной повторной идентификации пешеходов на основе ViT, в данной статье предложен метод кроссмодальной повторной идентификации пешеходов с усилением за счет многомеханического слияния. Метод использует ViT в качестве базовой модели и стратегию слияния многомерных признаков для повышения выразительности. Во-первых, вводится модуль дифференциального внимания (DAM), который посредством вычисления разницы между двумя наборами параллельных карт внимания эффективно подавляет часто возникающие шумы фона с высокой частотой, значительно улучшая внимание модели к основным областям пешехода; во-вторых, разработан иерархический прогрессивный модуль восприятия отношений (RAM), адаптивно моделирующий пространственные отношения от локального к глобальному уровню, эффективно преодолевающий ограничения ViT при обработке засорения и изменений позы, которые приводят к потере пространственной структуры; наконец, интегрирован механизм само-внимания с перекрестными окнами (CSWA), который делит карту признаков на горизонтальные и вертикальные полосы для параллельного вычисления само-внимания, снижая вычислительную сложность до линейного уровня и эффективно захватывая глобальные дальние зависимости. Экспериментальные результаты показывают, что на наборе данных MSMT17 mAP и Rank-1 достигают 68.1% и 86.3% соответственно; на наборе Occluded-Duke mAP и Rank-1 увеличиваются на 5.5% и 6.3% соответственно; на наборах Market-1501 и DukeMTMC-reID также достигнута производительность, превосходящая традиционный ViT. Общие результаты показывают, что метод эффективно решает проблемы рассеивания признаков и потери пространственной информации в традиционных моделях ViT для задач повторной идентификации пешеходов, существенно усиливая устойчивость и обобщающую способность модели в условиях перекрытий и сложного фона.

повторная идентификация пешеходов;кроссмодальная;ViT;DAM;CSWA;RAM