تهدف دمج صور الأشعة تحت الحمراء والضوء المرئي إلى الحفاظ على ميزات مختلفة متكملة لتحقيق الإدراك القوي للمشاهد المعقدة ، ولها قيمة تطبيقية حيوية في مجالات عديدة مثل مراقبة الأمان والاستطلاع العسكري والقيادة الآلية. ومع ذلك ، فإن الخوارزميات الحالية لدمج الصور تركز على تعزيز الأثر البصري للصور ، مما يؤدي إلى عدم الحفاظ على المعلومات الدلالية الحيوية أثناء عملية الدمج ، مما يؤثر بدوره على فعالية استخدام صور الدمج في المهام البصرية المتقدمة. على الرغم من محاولات الطرق الحالية لربط مهام الدمج مع الرؤية المتقدمة (التقسيم ، الكشف ، إلخ) ، إلا أن هذا الاتصال تسلسلي يعزز معلومات الدلالة بشكل محدود. من أجل موازنة الأثر البصري والمهام الفرعية ، يقترح هذا البحث بنية شبكة SDFusion لدمج صور الأشعة تحت الحمراء والضوء المرئي مدفوعة بالدلالة وفقًا للأهداف. أولاً ، يُستخدم مشفر الميزات المشترك لاستخراج الميزات العابرة للأوضاع في الصور الحرارية والضوء المرئي ، ثم يتم الإشراف المشترك والتحسين المشترك لفك تشفير الدمج وفك تشفير التقسيم بالتوازي ، مع حقن الميزات المشفرة في الميزات المفككة لتعزيز تمثيل الميزات ، وتحقيق التمثيل المشترك لميزات الدمج والدلالة. في أداء الدمج ، تُظهر التجارب أن هذه الطريقة تحسنت بنسبة 3.7٪ ، 7.3٪ ، 45.3٪ ، 18.5٪ ، 7.2٪ بالمقارنة مع الطرق التقليدية بالنسبة لخمس مؤشرات تقييم موضوعية EN ، SD ، MI ، VIFF ، QAB / F . بالإضافة إلى ذلك ، يظهر نتائج الدمج لهذه الطريقة أداءً أفضل من الطرق التقليدية في مهمة التقسيم الفرعية. تثبت هذه التجارب بشكل كامل فعالية طريقة SDFusion ، والتي نتجت في تحسين واضح في الأثر البصري لنتائج الدمج ، بالإضافة إلى تعزيز كبير في إنجاز المهام البصرية المتقدمة ، وتوفير مفهوم جديد وطريقة لتطوير تكنولوجيا دمج صور الأشعة تحت الحمراء والضوء المرئي.

دمج صور الأشعة تحت الحمراء والضوء المرئي؛ الدلالة؛ التحسين التعاوني