Трехмерная реконструкция с одного изображения восстанавливает трехмерную геометрию объекта или сцены по двумерному изображению, снятому с одного ракурса. Из-за ограниченной информации с одного ракурса, окклюзия приводит к размытию признаков изображения, что препятствует точному восстановлению внешних деталей объекта. В данной работе предложена рамочная модель, основанная на нейронных радиационных полях (NeRF), которая полноценно использует глобальную и локальную контекстную информацию изображения для решения проблемы окклюзии. Во-первых, используется Vision Transformer с возможностью захвата дальних корреляций данных для изучения глобальных признаков изображения, в сочетании с модулем внимания SE канала для предотвращения потери мультислойной информации и избыточности; во-вторых, применяется сверточная нейронная сеть для извлечения выровненных по пикселям локальных признаков изображения, в сочетании с дилатирующей сверткой в структуре пирамидального пула, чтобы увеличить рецептивное поле и извлечь многомасштабную контекстную информацию, предоставляя больше данных для восстановления деталей окклюзированных областей; наконец, разработан модуль агрегации плотностных признаков на основе Transformer для уменьшения неточностей предсказания плотности, вызванных окклюзией. Эксперименты на наборе данных ShapeNet-NMR показали, что метод способен синтезировать новые виды с большим количеством деталей и демонстрирует хорошую обобщающую способность для невидимых объектов.

нейронные радиационные поля;окклюзия;дилатирующая свертка;Transformer