Mehrschichtige Methode zur Übertragung der Körperhaltung basierend auf PATN und dem Selbstbeachtungsmechanismus

HUANG Qingdong ,  

SU Yuhui ,  

LIU Yihua ,  

CHEN Zihuang ,  

YAO Yongqi ,  

摘要

Es ist bekannt, dass die aktuellen Methoden zur Übertragung der Körperhaltung bei der Bewältigung von Problemen mit der Bildverzerrung aufgrund einer unzureichenden Merkmalsverarbeitung in der Codierungsphase versagen. Daher schlägt diese Forschung eine mehrschichtige Methode zur Übertragung der Körperhaltung basierend auf dem Pose-Attentional Transfer Network (PATN) und dem Selbstbeachtungsmechanismus vor. Erstens wird ein Pose-gesteuertes Selbstbeachtungsmodul entworfen, das durch einen Mehrkopf-Aufmerksamkeitsmechanismus die Gewichte der Merkmalskanäle der Schlüsselkörperbereiche verstärkt und die Auswirkungen irrelevanter Hintergrundmerkmale verringert, adaptiv die Korrelationen zwischen den Merkmalen der zwei Zweige erkundet; zweitens wird in der Dekodierungsphase ein Mehrskalen-Aufmerksamkeitsmodul hinzugefügt, um die Darstellung von Bewegungsinformationen verschiedener Maßstäbe zu verstärken und die Detailtreue und die globale Textur effektiv zu verbessern; schließlich wird ein dreifacher Pixelverlust zur Beschränkung der generierten Bilder eingeführt, um die Merkmalskonsistenz und die Strukturkonsistenz des Bildes zu verbessern. Dies führt zu signifikanten Verbesserungen der visuellen und strukturellen Qualität der Bilder und birgt ein großes Potenzial in der nachgelagerten Aufgabe der Personenwiedererkennung.

关键词

Bildverarbeitung; Körperhaltungstransfer; CGAN; Selbstbeachtungsmechanismus; Mehrschichtigkeit

阅读全文