В глубоких нейронных сетях для восстановления изображений лиц существует проблема нелогичного семантического содержимого лица и несогласованности контуров лица после восстановления. Было предложено сеть восстановления изображений лиц, управляемая информацией о структуре лица. Во-первых, с помощью технологии кодировщик-декодировщик была построена сеть генерации структурных эскизов лица, в генераторе которой были добавлены пропуски и остаточные блоки с дилатационными свёртками для генерации эскиза структуры участка, подлежащего восстановлению. Во-вторых, при построении сети восстановления лица в генератор был введён механизм внимания, который помогает сети сосредотачиваться на области восстановления, используя сгенерированный структурный эскиз лица в качестве ориентира для живого восстановления семантической структуры и текстурной информации лица. Наконец, в функции потерь сети генерации эскизов была введена потеря сопоставления признаков для обучения модели, что ограничивает генератор в создании результатов, более схожих с реальным структурным эскизом; а в функции потерь сети восстановления используется комбинированная перцептивная и стилистическая потеря для лучшего восстановления структуры контуров лица и цвета текстуры в области восстановления, делая восстановленное изображение ближе к оригиналу. Результаты сравнительных экспериментов показывают значительное улучшение производительности восстановления разработанной сети на наборе данных изображений лиц.

восстановление лица;кодировщик-декодировщик;дилатационные свёртки;пропуски;механизм внимания