기존의 계층적 텍스트 생성 이미지 방법은 초기 이미지 생성 단계에서 업샘플링만을 사용하여 특징을 추출하며, 업샘플링 과정은 본질적으로 컨볼루션 연산으로, 컨볼루션 연산의 한계로 인해 전역 정보가 무시되고 원격 의미상의 상호작용이 어렵다. 비록 모델에 자가주의 메커니즘이 도입된 방법이 있지만, 여전히 이미지 디테일 손실과 이미지 구조적 오류 등의 문제가 존재한다. 위 문제들을 해결하기 위해 자가지도 주의와 이미지 특징 융합에 기반한 생성적 적대 신경망 모델 SAF-GAN을 제안한다. ContNet 기반 자가지도 모듈을 초기 특징 생성 단계에 도입하고, 주의 메커니즘을 활용하여 이미지 특징 간 자율 매핑 학습을 수행한다. 특징의 문맥 관계를 통해 동적 주의 행렬을 유도하여 문맥 탐색과 자가주의 학습을 고도로 결합하여 저해상도 이미지 특징 생성 효과를 향상시키며, 이후 다양한 단계 네트워크의 교차 훈련을 통해 고해상도 이미지의 세밀한 생성을 실현한다. 또한 특징 융합 강화 모듈을 추가하여 이전 단계의 저해상도 특징과 현 단계 특징을 융합함으로써 생성 네트워크가 저층 특징의 높은 의미 정보를 충분히 활용하고, 고층 특징의 고해상도 정보를 확보하여 서로 다른 해상도의 특징 맵 간 의미적 일관성을 보다 보장하여 고해상도의 사실적인 이미지 생성을 가능하게 한다. 실험 결과, 기준 모델(AttnGAN) 대비 SAF-GAN 모델이 IS 및 FID 지표에서 모두 개선되었으며, CUB 데이터셋에서 IS 점수가 0.31 향상되고 FID 지표가 3.45 감소했으며, COCO 데이터셋에서 IS 점수가 2.68 향상되고 FID 지표가 5.18 감소하였다. SAF-GAN 모델은 보다 현실적인 이미지를 효과적으로 생성할 수 있어 해당 방법의 유효성을 입증한다.

컴퓨터 비전; 생성적 적대 신경망; 텍스트 생성 이미지; CotNet; 이미지 특징 융합