Трёхмерное восстановление с оптимизацией структурной размытости на основе нейронного радиационного поля

SHI Chao ,  

DENG Huiping ,  

XIANG Shen ,  

WU Jin ,  

摘要

Для трёхмерного восстановления с малого количества видов требуется меньшее количество изображений для восстановления трёхмерной геометрии объекта или сцены. Однако из-за недостаточного покрытия с разных ракурсов и нехватки информации для точного восстановления трёхмерной сцены, результаты восстановления могут быть неточными или размытыми, особенно для сцен со сложной геометрической структурой, где трудно уловить структурную информацию. В этой работе предложена структура на основе нейронного радиационного поля, использующая точную стоимость объёмных корреляций для связывания глубинной информации переднего и заднего планов, чтобы решить проблему структурной размытости. Сначала используется пирамидальная сеть для извлечения локальных признаков переднего и заднего планов, что усиливает захват деталей сцены, а также введён механизм self-attention для обеспечения фокусировки на ключевых областях при извлечении признаков. Затем через модуль адаптивного рецептивного поля реализуется плавная передача масштаба признаков для построения точной стоимости признаков. Наконец, введён случайный структурный похожий убыток, который использует локальные пиксели как общую форму контроля вместо поксельного контроля, чтобы более полно улавливать структурную информацию в сцене. На наборах данных DTU, LLFF и NeRF показатель PSNR был улучшен на 0.48 дБ, 0.1 дБ и 0.47 дБ соответственно, экспериментальные данные показывают, что предложенный метод эффективно решает проблему структурной размытости, вызванной недостатком информации при трёхмерном восстановлении с малого количества видов.

关键词

трёхмерное восстановление; нейронное радиационное поле; стоимость признаков; структурная размытость

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website