Mehrauflösende Methode zur Übertragung der Körperhaltung basierend auf PATN und Selbstaufmerksamkeitsmechanismus

HUANG Qingdong ,  

SU Yuhui ,  

LIU Yihua ,  

CHEN Zihuang ,  

YAO Yongqi ,  

摘要

Um das Problem der Verzerrung und Verformung von Bildern aufgrund einer unsachgemäßen Merkmalsverarbeitung in der Codierungsphase bei bestehenden Methoden zur Übertragung der menschlichen Körperhaltung zu adressieren, wird eine mehrauflösende Methode zur Übertragung der Körperhaltung basierend auf dem Pose-Attentional Transfer Network (PATN) und dem Selbstaufmerksamkeitsmechanismus vorgeschlagen. Zunächst wurde ein posegeführtes Selbstaufmerksamkeitsmodul entworfen, das durch einen Multi-Head-Attentionsmechanismus die Gewichtung der Merkmalskanäle in den Schlüsselbereichen des Körpers verstärkt und den Einfluss irrelevantem Hintergrundmerkmale reduziert, wobei adaptiv die Korrelation zwischen den Merkmalen zweier Zweige untersucht wird; zweitens wird in der Decodierungsphase ein Mehrskalenausmerksamkeitsmodul hinzugefügt, das die Ausdruckskraft der Posinformationen auf unterschiedlichen Skalen verbessert und effektiv die Treue lokaler Details und der Gesamtstruktur erhöht; schließlich wird ein triplet-basiertes Pixelverlust eingeführt, um die generierten Bilder zu beschränken und die Konsistenz der Merkmale und der Bildstruktur zu verbessern. Die Methode wurde auf den Datensätzen DeepFashion und Market-1501 validiert. Die experimentellen Ergebnisse zeigen, dass die vorgeschlagene Methode in Bezug auf Strukturähnlichkeit (SSIM), Inception Score (IS) und Wahrnehmungsähnlichkeit (LPIPS) bestehende PATN-Methoden übertrifft und sowohl in visueller Wahrnehmung als auch Kantentextur Verbesserungen aufweist, was ein bedeutendes Potenzial für nachfolgende Personenerkennungsaufgaben zeigt.

关键词

Bildverarbeitung; Haltungstransfer; CGAN; Selbstaufmerksamkeitsmechanismus; Mehrauflösend

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website