Многоуровневый метод переноса позы человека на основе PATN и механизма самовнимания

HUANG Qingdong ,  

SU Yuhui ,  

LIU Yihua ,  

CHEN Zihuang ,  

YAO Yongqi ,  

摘要

В связи с проблемой искажения изображений, возникающей из-за неправильной обработки признаков на стадии кодирования в существующих методах переноса позы человека, предложен метод многоуровневого переноса позы человека на основе сетей Pose-Attentional Transfer Network (PATN) и механизма самовнимания. Во-первых, разработан модуль самовнимания с направлением на позу, который с помощью механизма многоголового внимания усиливает вес каналов признаков ключевых областей тела и снижает влияние нерелевантных фонов, адаптивно исследуя взаимосвязь между признаками двух ветвей; во-вторых, на стадии декодирования добавлен модуль многоуровневого внимания, который усиливает выражение позы на разных масштабах, эффективно улучшая сохранность локальных деталей и общей текстуры; наконец, введена триплетная пиксельная потеря для ограничения генерируемых изображений, что повышает согласованность признаков и структуры изображения. Метод проверен на наборах данных DeepFashion и Market-1501, результаты экспериментов показывают, что предложенный метод превосходит существующую PATN по показателям структурного сходства (SSIM), начальной оценки (IS) и перцептивного сходства (LPIPS), а также улучшает визуальное восприятие и текстуры краев, демонстрируя важный потенциал в задачах повторного распознавания пешеходов.

关键词

Обработка изображений; перенос позы; CGAN; механизм самовнимания; многоуровневый

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website