طريقة تقسيم دلالي متعددة الأوضاع باستخدام نموذج SAM المدرب مسبقًا للحفاظ على الدلالات لدمج الصور المرئية والأشعة تحت الحمراء
摘要
في مواجهة المشكلة طويلة الأمد المتعلقة بصعوبة تحقيق توازن بين جودة دمج الصور المرئية بالأشعة تحت الحمراء ودقة مهام التقسيم الدلالي، تقترح هذه الورقة إطار عمل معزز لتقسيم دلالي متعدد الأوضاع يعتمد على الأولويات الدلالية. على الرغم من أن الطرق الحالية لدمج الصور المرئية والأشعة تحت الحمراء يمكنها تحسين جودة الصورة المدمجة إلى حد معين، إلا أنها غالبًا ما تُضعف تعبير المعلومات الدلالية في الصورة، مما يؤثر على أداء مهام التقسيم الدلالي التابعة. لحل هذه المشكلة، تعتمد هذه الدراسة على نموذج SAM (Segment Anything Model) المدرب مسبقًا كنموذج للأولويات الدلالية الثابت، حيث يوجه عملية تعلم الميزات متعددة الأوضاع أثناء الدمج للحفاظ على اتساق المعلومات الدلالية. في الإطار المقترح، يتم إدخال صورة RGB وصورة الأشعة تحت الحمراء جزئيًا إلى مشفر SAM للحصول على تمثيلات ميزات بصرية متعددة المستويات، وفي الوقت نفسه يتم استخراج الميزات التكميلية بين الأنماط المختلفة من خلال وحدة دمج مصممة خصيصًا. في مراحل الميزات المختلفة، يتم تحسين الميزات المستخرجة بواسطة SAM عبر فرع الحفاظ على الدلالات، مع إدخال وحدة تعزيز عبر الأنماط مدركة دلاليًا لتقوية الميزات. تدمج هذه الوحدة معلومات تضمين تسميات النصوص لتعزيز استجابة النموذج للفئات المختلفة للأهداف وتحسين دقة التقسيم في مناطق حدود الأهداف. تظهر النتائج التجريبية أن الطريقة المقترحة تحقق تحسناً ملحوظًا في قدرة الحفاظ على المعلومات الدلالية، ودقة الدمج، وجودة إعادة البناء البصري، مما يؤكد فعالية واستقرار الإطار في مهام التقسيم الدلالي لصور الأشعة تحت الحمراء والمرئية.
关键词
تقسيم دلالي متعدد الأوضاع; دمج الصور المرئية بالأشعة تحت الحمراء; نموذج SAM المدرب مسبقًا; تعديل الميزات; آلية الدمج ذات البوابات; الأولويات الدلالية; التعلم عبر الأنماط
以上内容由讯飞翻译自动生成，翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果，本网站不承担任何商业和法律责任。
The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website