PATNおよび自己注意機構に基づくマルチ解像度人体姿勢変換手法

HUANG Qingdong ,  

SU Yuhui ,  

LIU Yihua ,  

CHEN Zihuang ,  

YAO Yongqi ,  

摘要

既存の人体姿勢変換方法はエンコード段階での特徴処理の不適切さにより画像の歪みや劣化を引き起こす問題に対して、Pose-Attentional Transfer Network(PATN)と自己注意機構に基づくマルチ解像度人体姿勢変換手法を提案する。まず、姿勢誘導自己注意モジュールを設計し、マルチヘッド注意機構により主要な身体部位の特徴チャネルの重みを強化し、背景に関係のない特徴の影響を減少させ、2つのブランチの特徴間の関連性を適応的に探索する。次に、デコード段階でマルチスケール注意モジュールを追加し、異なるスケールの姿勢情報表現を強化し、局所的な詳細と全体のテクスチャの忠実度を効果的に向上させる。最後に、トリプレットピクセル損失を導入して生成画像を制約し、画像の特徴の一貫性と構造の一貫性を向上させた。DeepFashionおよびMarket-1501データセットで検証した結果、本手法は構造類似度(SSIM)、初期スコア(IS)、知覚類似度(LPIPS)の指標で既存のPATN手法を上回り、視覚的な印象やエッジテクスチャーでも改善が見られ、人物再識別の下流タスクにおいて重要な可能性を有することが示された。

关键词

画像処理;姿勢変換;CGAN;自己注意機構;マルチ解像度

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website