顔画像修復のための深層学習ネットワークには、修復後の顔画像における顔の意味情報が不合理であり、顔の輪郭が調和しない問題が存在するため、顔構造情報に基づく顔画像修復ネットワークを提案した。まず、エンコーダ-デコーダネットワーク技術を用いて顔構造スケッチ生成ネットワークを構築し、スケッチ生成ネットワークのジェネレータにはスキップ接続と膨張畳み込みを導入した残差ブロックを組み込んで修復対象領域の構造スケッチを生成した。次に、顔修復ネットワークを構築する際に、修復ネットワークのジェネレータに注意機構を導入し、修復過程で修復対象領域により注目させ、生成された顔構造スケッチをガイドとして顔画像の顔意味構造とテクスチャ情報の生き生きとした修復を実現した。最後に、構造スケッチ生成ネットワークの損失関数に特徴マッチング損失を導入してモデルを訓練し、ジェネレータが実際の構造スケッチにより類似した結果を生成するよう制約した。修復ネットワークの損失関数には知覚損失とスタイル損失を組み合わせてモデルを訓練し、修復対象領域の顔画像の顔輪郭構造と色のテクスチャをより良く再構築し、修復後の画像がより実画像に近づくようにした。比較実験の結果、本論文で設計したネットワークモデルの修復性能が顔画像データセットにおいて大幅に向上したことを示した。

顔修復;デコーダ-エンコーダ;膨張畳み込み;スキップ接続;注意機構