既存の階層型テキスト生成画像手法は、初期画像生成段階でアップサンプリングのみを用いて特徴抽出を行っており、アップサンプリング過程は本質的に畳み込み演算であるため、畳み込み演算の制約によりグローバル情報が無視され、遠隔のセマンティック情報が相互作用できない。モデルに自己注意機構を導入する方法もあるが、画像の詳細欠損や構造的誤りなどの問題は依然として存在する。これらの問題に対応するため、自己監督注意と画像特徴融合に基づく生成対抗ネットワークモデルSAF-GANを提案する。初期特徴生成段階にContNetベースの自己監督モジュールを組み込み、注意機構を利用して画像特徴間の自主的なマッピング学習を行う。特徴のコンテキスト関係を通じて動的注意行列を誘導し、コンテキストマイニングと自己注意学習の高度な結合を実現し、低解像度画像特徴の生成効果を高め、その後、異なる段階ネットワークの交互訓練により高解像度画像の細部生成を実現する。同時に特徴融合強化モジュールを追加し、モデルの前段階の低解像度特徴と現段階の特徴を融合することで、生成ネットワークは低層特徴の高い意味情報と高層特徴の高解像度情報を十分に活用し、異なる解像度特徴マップ間の意味的一貫性をより確保し、高解像度のリアルな画像生成を実現する。実験結果は、ベースラインモデル（AttnGAN）と比較して、SAF-GANモデルがISおよびFID指標の両方で改善し、CUBデータセットでISスコアが0.31向上し、FID指標が3.45減少し、COCOデータセットでISスコアが2.68向上し、FID指標が5.18減少したことを示している。SAF-GANモデルは、よりリアルな画像を効果的に生成でき、この手法の有効性を証明している。

コンピュータビジョン;生成対抗ネットワーク;テキスト生成画像;CotNet;画像特徴融合