طريقة إعادة بناء ثلاثي الأبعاد لمنظور واحد محسنة من خلال تحسين التداخل باستخدام مجال الإشعاع العصبي

CHEN Zhijie ,  

DENG Huiping ,  

XIANG Sen ,  

WU Jin ,  

摘要

إعادة بناء ثلاثي الأبعاد من منظور واحد هي عملية استعادة الشكل الهندسي ثلاثي الأبعاد للكائن أو المشهد من صورة ثنائية الأبعاد مأخوذة من زاوية عرض واحدة. نظرًا لمحدودية المعلومات في المنظور الواحد، يسبب التداخل بين الأشكال ضبابية في خصائص الصورة، مما يمنع استعادة تفاصيل المظهر الدقيقة للكائن. تقدم هذه الورقة إطار عمل يعتمد على مجال الإشعاع العصبي (NeRF) يستفيد بالكامل من المعلومات العالمية والمحلية للسياق في الصورة لحل مشكلة التداخل. أولاً، يتم استخدام محول الرؤية (Vision Transformer) الذي يمتلك القدرة على التقاط الترابطات البعيدة في البيانات لتعلم الخصائص العالمية للصورة، مع دمج وحدة انتباه القناة SE لمنع فقدان المعلومات عبر الطبقات المتعددة وتجنب التكرار في المعلومات؛ ثانيًا، يتم استخدام الشبكات العصبية التلافيفية لاستخراج خصائص الصور المحاذية للبكسل، مع الدمج بين عمليات الالتفاف المفرغة في بنية تجميع الهرم المجوف (Dilated Pyramid Pooling) لتوسيع مجال الاستقبال، واستخراج معلومات السياق متعددة المقاييس لتوفير مزيد من المعلومات لاستعادة تفاصيل مناطق التداخل؛ أخيرًا، تم تصميم وحدة تجميع خصائص الكثافة بناءً على المحول (Transformer) لتقليل عدم دقة التنبؤ بالكثافة الناتج عن التداخل. تظهر التجارب على مجموعة بيانات ShapeNet-NMR أن هذه الطريقة قادرة على توليد مشاهد جديدة ذات تفاصيل أكثر، وتظهر أداء جيد في التعميم عند التطبيق على كائنات غير مرئية.

关键词

مجال الإشعاع العصبي;تداخل;الالتفاف المفرغ;المحول

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website