二重専用注意機構ガイド付き循環生成対抗ネットワーク

LAO Jun-ming ,  

YE Wu-jian ,  

LIU Yi-jun ,  

YUAN Kai-yi ,  

摘要

既存の循環生成対抗ネットワークに基づく画像生成手法は、独立した汎用注意モジュールを導入することで、マッチングのない画像変換タスクにおいて良好な成果を得ているが、同時にモデルの複雑性と学習時間が増加し、画像中の重要領域のすべての詳細に注目することが難しく、画像生成の効果にはまだ改善の余地がある。これらの課題に対して、生成器と識別器にそれぞれ異なる注意機構を用いて誘導する二重専用注意機構ガイド付き循環生成対抗ネットワーク(Dual-SAG-CycleGAN)を提案する。まず、生成器の動作をガイドするSAG(Special Attention-mechanism Guided)と呼ばれる専用注意モジュールを提案し、生成画像の品質向上とネットワークの複雑性低減を同時に実現する。次に、識別器にはCAM(Class Activation Mapping)に基づく専用注意機構ガイドモジュールを採用し、生成器が生成する無関係なノイズを抑制する。最後に、背景マスクの循環一貫性損失関数を提案し、生成器がより正確なマスク画像を生成するようにガイドし、画像変換をより効果的に支援する。実験により、本手法は既存の類似モデルと比較して、ネットワークモデルのパラメータ数を約32.8%削減し、学習速度を34.5%向上させ、KIDおよびFIDの最小値がそれぞれ1.13および57.54に達し、より高い映像品質を実現することを示した。

关键词

生成対抗ネットワーク;マッチングなし画像変換;専用注意機構;循環一貫性損失;画像生成

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website