単一視点の三次元再構築は、単一の視点から得られた二次元画像を入力として、物体の三次元幾何形状やシーンを復元する手法です。単一視点の情報が限られているため、遮蔽によって画像特徴間のぼやけが生じ、正確な物体外観の詳細を復元することが困難です。本稿では、神経放射場（NeRF）に基づくフレームワークを提案し、画像の全体的な情報と局所的な文脈情報を十分に活用して遮蔽問題を解決します。まず、Vision Transformerが持つ遠距離のデータ相関を捉える特性を利用して画像の全体的特徴を学習し、SEチャネルアテンションモジュールを組み合わせて多層特徴情報の損失と情報の冗長性を防ぎます。次に、畳み込みニューラルネットワークを使用してピクセル対応の局所画像特徴を抽出し、空洞金字塔プーリング構造の空洞畳み込みを組み合わせて受容野を拡大し、多尺度の文脈情報を探索して遮蔽領域の詳細復元により多くの情報を提供します。最後に、Transformerベースの密度特徴集約モジュールを設計し、遮蔽による密度予測精度の低下を低減します。ShapeNet-NMRデータセットでの実験により、本手法はより多くの詳細を持つ新しい視点を合成でき、未見の物体に適用した際にも優れた一般化能力を示しました。

神経放射場;遮蔽;空洞畳み込み;トランスフォーマー