Método de reconstrução 3D de vista única otimizado para oclusão baseado em campos de radiação neural

CHEN Zhijie ,  

DENG Huiping ,  

XIANG Sen ,  

WU Jin ,  

摘要

A reconstrução tridimensional a partir de uma única vista recupera a forma geométrica tridimensional do objeto ou cena a partir de uma imagem bidimensional obtida de um único ângulo. Devido às informações limitadas de uma única vista, a oclusão causa desfoque entre as características da imagem, dificultando a recuperação precisa dos detalhes da aparência do objeto. Este artigo propõe uma estrutura baseada em campos de radiação neural (NeRF) que aproveita ao máximo as informações globais e o contexto local da imagem para resolver o problema da oclusão. Primeiro, utiliza-se o Vision Transformer, que possui a capacidade de capturar correlações remotas nos dados, para aprender as características globais da imagem, combinado com um módulo de atenção de canal SE para evitar perda de informações em múltiplas camadas e redundância de informações; em segundo lugar, utiliza-se uma rede neural convolucional para extrair características locais alinhadas por pixel da imagem, combinada com convolução dilatada na estrutura de pooling piramidal dilatado para aumentar o campo receptivo, explorar informações contextuais em múltiplas escalas e fornecer mais informações para recuperar os detalhes das áreas ocluídas; finalmente, foi projetado um módulo de agregação de características de densidade baseado em Transformer para reduzir a imprecisão na predição de densidade causada pela oclusão. Experimentos no conjunto de dados ShapeNet-NMR mostram que este método pode sintetizar novas vistas com mais detalhes e apresenta boa capacidade de generalização quando aplicado a objetos invisíveis.

关键词

campos de radiação neural;oclusão;convolução dilatada;Transformer

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website