Многоразрешенный метод переноса позы тела на основе PATN и механизма самовнимания

HUANG Qingdong ,  

SU Yuhui ,  

LIU Yihua ,  

CHEN Zihuang ,  

YAO Yongqi ,  

摘要

Известно, что существующие методы переноса позы тела не могут справиться с проблемами искажения изображений из-за неправильной обработки признаков на этапе кодирования, поэтому в данной работе предлагается метод многоразрешенного переноса позы тела на основе сети передачи внимания к позе (PATN) и механизма самовнимания. Во-первых, разработан модуль внимания к позе, усиливающий вес каналов ключевых областей тела через многоголовый механизм внимания и уменьшающий влияние фоновых неподходящих признаков, адаптивно исследуя корреляцию между признаками двух ветвей; во-вторых, в декодирующем этапе добавлен модуль многомасштабного внимания, усиливающий выражение информации о позе разных масштабов и эффективно улучшающий детализацию локальных деталей и общую текстуру; наконец, введена тройная пиксельная потеря для ограничения сгенерированных изображений, повышающая согласованность признаков и структуры изображения. Это обеспечивает значимые улучшения визуального и текстурного качества, а также значительный потенциал в последующей задаче повторного распознавания людей.

关键词

Обработка изображений; перенос позы; CGAN; механизм самовнимания; многоразрешенность

阅读全文