단일 시점 3D 재구성은 단일 시점의 2D 이미지를 입력으로 하여 물체의 3D 기하학적 형태 또는 장면을 복원하는 방법입니다. 단일 시점의 정보가 제한적이기 때문에 가림현상(오클루전)으로 인해 이미지 특징 간 흐릿함이 발생하여 정확한 물체 외관 세부 정보를 복원하기 어렵습니다. 본 논문에서는 신경 방사장(NeRF)을 기반으로 한 프레임워크를 제안하여 이미지의 전역 정보와 지역 문맥 정보를 충분히 활용해 가림 문제를 해결합니다. 먼저, 비전 트랜스포머(Vision Transformer)의 데이터 원격 상관성 포착 특성을 이용해 이미지의 전역 특성을 학습하고, SE 채널 어텐션 메커니즘 모듈을 결합해 다층 특징 정보 손실과 정보 중복을 방지합니다. 다음으로, 합성곱 신경망을 이용해 픽셀 정렬된 지역 이미지 특징을 추출하고, 팽창 피라미드 풀링 구조의 팽창 합성곱을 결합해 수용 영역을 확대하며, 다중 스케일 문맥 정보를 탐색해 가림 영역의 세부 복원에 더 많은 정보를 제공합니다. 마지막으로, 가림으로 인한 밀도 예측 부정확성을 줄이기 위해 트랜스포머 기반 밀도 특징 집계 모듈을 설계했습니다. ShapeNet-NMR 데이터셋에서의 실험 결과, 본 방법은 더 많은 세부 사항을 가진 새로운 시점을 합성할 수 있으며, 보이지 않는 물체에 적용할 때도 우수한 일반화 능력을 보였습니다.

신경 방사장;가림;팽창 합성곱;트랜스포머