신경 방사장 기반 구조적 모호성 최적화 3D 재구성

SHI Chao ,  

DENG Huiping ,  

XIANG Shen ,  

WU Jin ,  

摘要

소수 뷰 3D 재구성은 물체나 장면의 3차원 형상을 복원하기 위해 적은 수의 뷰만 필요하다. 그러나 다양한 시점에서의 부족한 피복 및 3D 장면을 정확히 복원할 충분한 정보가 부족하여, 특히 복잡한 기하학적 구조를 가진 장면의 경우 구조적 모호성이 발생하여 재구성 결과가 부정확하거나 흐릿할 수 있다. 본 논문에서는 신경 방사장 기반 프레임워크를 제안하며, 정확한 비용 부피를 이용해 전경 및 배경 깊이 정보를 연관시켜 구조적 모호성 문제를 해결한다. 먼저, 피라미드 네트워크를 사용해 전경 및 배경의 국부 특징을 추출하여 장면 세부 정보를 강화하고, Self-attention 메커니즘을 도입해 특징 추출 과정에서 핵심 영역에 집중하도록 한다. 이후, 적응 수용 영역 모듈을 통해 특징 스케일의 부드러운 전달을 구현하여 정확한 특징 비용 부피를 구축한다. 마지막으로, 랜덤 구조 유사도 손실을 도입하여 픽셀 단위 감독 대신 로컬 영역 픽셀을 전체 감독으로 활용해 장면 내 구조 정보를 더 포괄적으로 포착한다. DTU, LLFF, NeRF 데이터셋에서 PSNR이 각각 0.48dB, 0.1dB, 0.47dB 향상되었으며, 실험 결과 본 방법이 소수 뷰 3D 재구성에서 정보 부족으로 인한 구조적 모호성 문제를 효과적으로 해결함을 보였다.

关键词

3D 재구성; 신경 방사장; 특징 비용 부피; 구조적 모호성

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website