이중 전용 주의 메커니즘 유도 순환 생성 적대 신경망

LAO Jun-ming ,  

YE Wu-jian ,  

LIU Yi-jun ,  

YUAN Kai-yi ,  

摘要

기존의 순환 생성 적대 신경망 기반 이미지 생성 방법은 독립적인 범용 주의 모듈을 도입하여 매칭되지 않는 이미지 변환 작업에서 좋은 성능을 보였으나, 동시에 모델 복잡도와 학습 시간이 증가하고 이미지 내 핵심 영역의 모든 세부 사항에 집중하기 어려워 이미지 생성 품질 개선의 여지가 남아 있다. 이러한 문제를 해결하기 위해 생성기와 판별기에 각각 다른 주의 메커니즘을 적용하는 이중 전용 주의 메커니즘 유도 순환 생성 적대 신경망(Dual-SAG-CycleGAN)을 제안한다. 먼저, 생성기 작업을 유도하는 SAG(Special Attention-mechanism Guided)라는 전용 주의 모듈을 제안하여 이미지 생성 품질 향상과 네트워크 복잡도 감소를 동시에 달성한다; 다음으로, 판별기에는 CAM(Class Activation Mapping) 기반 전용 주의 메커니즘 유도 모듈을 적용하여 생성기의 무관한 노이즈 생성을 억제한다; 마지막으로, 배경 마스크의 순환 일관성 손실 함수를 제안하여 생성기가 보다 정확한 마스크 영상을 생성하도록 유도하여 이미지 변환을 더 효과적으로 돕는다. 실험 결과, 본 방법은 기존 유사 모델 대비 네트워크 모델 파라미터 수를 약 32.8% 줄이고, 학습 속도를 34.5% 향상시키며, KID와 FID가 각각 최저 1.13과 57.54에 도달하여 더 높은 영상 품질을 보임을 확인하였다.

关键词

생성 적대 신경망;비매칭 이미지 변환;전용 주의 메커니즘;순환 일관성 손실;이미지 생성

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website