PATN 및 자기 주의 메커니즘 기반 다중 해상도 인체 자세 변환 방법

HUANG Qingdong ,  

SU Yuhui ,  

LIU Yihua ,  

CHEN Zihuang ,  

YAO Yongqi ,  

摘要

기존 인체 자세 변환 방법이 인코딩 단계에서 특징 처리가 부적절하여 이미지 변형 및 왜곡 문제가 발생하는 문제를 해결하기 위해, Pose-Attentional Transfer Network(PATN)와 자기 주의 메커니즘 기반의 다중 해상도 인체 자세 변환 방법을 제안한다. 먼저, 자세 안내 자기 주의 모듈을 설계하여 다중 헤드 주의 메커니즘을 통해 주요 신체 부위 특징 채널의 가중치를 강화하고 배경과 무관한 특징의 영향을 줄이며, 두 개의 브랜치 특징 간의 상관성을 적응적으로 탐색한다. 다음으로, 디코딩 단계에서 다중 스케일 주의 모듈을 추가하여 다양한 스케일의 자세 정보 표현을 강화하고 국부 세부사항 및 전체 텍스처의 충실도를 효과적으로 향상시킨다. 마지막으로, 생성된 이미지에 제약을 가하기 위해 삼중 픽셀 손실을 도입하여 이미지의 특징 일관성과 구조 일관성을 높였다. DeepFashion과 Market-1501 데이터셋에서 검증한 결과, 본 방법은 구조 유사도(SSIM), 초기 점수(IS), 지각 유사도(LPIPS) 지표에서 기존 PATN 방법보다 우수하며, 시각적 관점 및 엣지 텍스처 부분에서도 향상된 결과를 보였으며, 사람 재식별 후속 작업에 중요한 잠재력을 지닌다.

关键词

영상 처리; 자세 변환; CGAN; 자기 주의 메커니즘; 다중 해상도

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website