La reconstruction 3D à partir d'une seule vue consiste à récupérer la forme géométrique tridimensionnelle d'un objet ou d'une scène à partir d'une image 2D prise sous un seul angle. En raison de l'information limitée d'une seule vue, les occlusions provoquent un flou entre les caractéristiques de l'image, ce qui empêche de restaurer avec précision les détails de l'apparence de l'objet. Cet article propose un cadre basé sur les champs de radiations neuronaux (NeRF) qui exploite pleinement les informations globales et contextuelles locales de l'image pour résoudre le problème des occlusions. Premièrement, le Vision Transformer, capable de capturer des corrélations à longue distance dans les données, est utilisé pour apprendre les caractéristiques globales de l'image, combiné à un module d'attention de canal SE pour éviter la perte d'informations sur plusieurs couches et la redondance des informations ; deuxièmement, un réseau de neurones convolutionnel est utilisé pour extraire des caractéristiques locales alignées au pixel, combiné à une convolution dilatée dans une structure de pooling pyramidal dilaté pour augmenter le champ réceptif, explorer des informations contextuelles multi-échelles, et fournir plus d'informations pour restaurer les détails des zones occluses ; enfin, un module d'agrégation de caractéristiques de densité basé sur Transformer est conçu pour réduire les erreurs de prédiction de densité causées par les occlusions. Les expériences sur le jeu de données ShapeNet-NMR montrent que cette méthode peut synthétiser de nouvelles vues avec plus de détails et présente une bonne capacité de généralisation lorsqu'elle est appliquée à des objets invisibles.

champs de radiations neuronaux;occlusion;convolution dilatée;Transformer