얼굴 이미지 복원을 위한 딥러닝 네트워크는 복원 후 얼굴 이미지의 얼굴 의미 정보가 부적절하고 얼굴 윤곽이 조화롭지 못한 문제를 가지고 있어, 얼굴 구조 정보에 기반한 얼굴 이미지 복원 네트워크가 제안되었다. 먼저, 인코더-디코더 네트워크 기술을 사용하여 얼굴 구조 스케치 생성 네트워크를 구축하였고, 스케치 생성 네트워크의 생성기에는 점프 연결과 팽창 합성곱이 적용된 잔차 블록을 도입하여 복원 대상 영역의 구조 스케치를 생성하였다. 둘째, 얼굴 복원 네트워크를 구축할 때 복원 네트워크 생성기에 어텐션 메커니즘을 도입하여 네트워크가 복원 과정에서 복원 대상 영역에 더 집중하도록 하였으며, 생성된 얼굴 구조 스케치를 안내로 하여 얼굴 이미지의 얼굴 의미 구조와 텍스처 정보를 생동감 있게 복원하였다. 마지막으로, 스케치 생성 네트워크의 손실 함수에 특징 매칭 손실을 도입하여 모델을 학습시켜 생성기가 실제 구조 스케치와 유사한 결과를 생성하도록 제약하였으며, 복원 네트워크의 손실 함수에는 지각 손실과 스타일 손실을 결합하여 모델을 학습시켜 복원 대상 영역의 얼굴 이미지 얼굴 윤곽 구조와 색상 텍스처를 더 잘 재구성하여 복원된 이미지가 실제 이미지에 더 가깝도록 하였다. 비교 실험 결과, 본 논문에서 설계한 네트워크 모델의 복원 성능이 얼굴 이미지 데이터셋에서 크게 향상되었음을 보였다.

얼굴 복원;디코더-인코더;팽창 합성곱;점프 연결;어텐션 메커니즘