XLnetとDMGANを融合したテキスト生成画像手法

ZHAO Zewei ,  

CHE Jin ,  

LÜ Wenhan ,  

摘要

テキスト生成画像タスクにおいて、テキストエンコーダーがテキスト情報を深く抽出できず、後続の生成画像に意味的一貫性の問題が生じるため、本論文では改良されたDMGANモデルに基づくテキスト生成画像手法を提案する。まず、大規模コーパスでの事前学習により大量のテキストの先行知識を捕捉できるXLnetの事前学習モデルを用いてテキストをエンコードする。その後、DMGANモデルの画像生成の初期段階と画像詳細化段階の両方にチャネルアテンションモジュールを追加し、重要な特徴チャネルを強調することで、生成画像の意味的一貫性と空間レイアウトの合理性、ならびにモデルの収束速度と安定性をさらに向上させる。実験結果は、CUBデータセットにおいて提案モデルが従来のDMGANモデルと比較してIS指標を0.47向上させ、FID指標を2.78低減したことを示しており、本モデルがより優れたクロスモーダル生成能力を有していることを十分に示している。

关键词

テキスト生成画像;XLnetモデル;生成対抗ネットワーク;チャネルアテンション

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website