OFCA-Transformer 기반 경량 비디오 초해상도 복원

REN Pengyang ,  

PANG Kai ,  

摘要

복잡한 움직임 장면에서 기존 비디오 초해상도 방법들이 프레임 간 정렬 부정확, 시퀀스 정보 활용 부족, 전통적 어텐션 메커니즘의 계산 복잡도 문제를 해결하기 위해 본 논문에서는 광류 유도 크로스 어텐션을 결합한 비디오 초해상도 네트워크(OFCA-Transformer)를 제안한다. 우선, 다중 스케일 광류 추정 모듈을 경량화하여 다중 입도 운동 정보를 생성한다. 둘째, 광류 예측 위치를 중심으로 지역 어텐션 윈도우를 구축하여 명시적 기하학적 사전 정보와 암묵적 내용 인식의 깊은 융합을 실현하는 광류 유도 크로스 어텐션 메커니즘을 혁신적으로 도입하여 정렬 정확도 향상과 계산 복잡도 대폭 감소를 이룬다. 마지막으로, 트랜스포머 아키텍처 내에서 보다 효과적인 시공간 특징 융합을 위한 계층적 특징 집계 모듈을 구축하였다. 확대 배율 ×2, ×3, ×4에서 본 연구 방법을 3개의 공개 데이터셋과 타 방법과 비교하였다. 결과는 OFCA-Transformer가 여러 데이터셋에서 PSNR 값이 최신 방법 대비 단 0.16 dB 차이에 불과하며, 모델 파라미터 수는 82.8% 감소하여 계산 효율을 효과적으로 향상시켰음을 보여준다. 또한, 본 연구 방법은 복잡한 운동 장면에서 더 정밀한 디테일 복원 및 우수한 시간적 일관성을 나타내며 모든 확대 배율에서 객관적으로 우수한 정량적 지표를 달성하였다.

关键词

비디오 초해상도;트랜스포머;광류 추정;크로스 어텐션;운동 정렬

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website