Les réseaux d’apprentissage profond pour la restauration d’images faciales présentent des problèmes d’informations sémantiques faciales irrationnelles et de contours faciaux discordants après restauration. Nous proposons un réseau de restauration d’images faciales guidé par les informations de structure du visage. Tout d’abord, un réseau de génération de croquis de structure faciale a été construit à l’aide d’un réseau encodeur-décodeur, dans lequel des connexions résiduelles avec convolutions dilatées et des connexions en saut ont été ajoutées au générateur pour générer le croquis de la structure de la région à restaurer. Ensuite, lors de la construction du réseau de restauration faciale, un mécanisme d’attention a été introduit dans le générateur pour permettre au réseau de se concentrer davantage sur la région à restaurer et d’utiliser le croquis de la structure faciale généré comme guide pour une restauration vivante de la structure sémantique et des informations texturales de l’image faciale. Enfin, une perte de correspondance de caractéristiques a été introduite dans la fonction de perte du réseau de génération de croquis pour entraîner le modèle, contraignant ainsi le générateur à produire des résultats similaires aux véritables croquis structurels; dans la fonction perte du réseau de restauration, une perte perceptuelle et une perte de style combinées sont utilisées pour entraîner le modèle afin de mieux reconstruire la structure des contours et la texture des couleurs de la région à restaurer, rendant l’image restaurée plus proche de l’image réelle. Les résultats des expériences comparatives montrent une amélioration significative des performances de restauration du modèle de réseau conçu sur le jeu de données d’images faciales.

restauration faciale;encodeur-décodeur;convolution dilatée;connexions en saut;mécanisme d’attention