هناك اختلاف في توزيع المعلومات الفضائية بين أنماط التصوير الطبي المختلفة، مما يعوق تحقيق محاذاة فعالة في فضاء الميزات العميقة، ويؤدي إلى فقدان المعلومات السطحية في مناطق معينة من الصورة المدمجة أو الاعتماد المفرط على معلومات نمط واحد. للتغلب على هذه المشكلة، تم اقتراح نموذج دمج صور طبية غير متماثل يعتمد على تحويل Restormer وآلية الانتباه المزدوجة. أولًا، يستخدم نموذج Restormer لاستخراج الميزات العميقة من الصور متعددة الأنماط، ويتم إدخال آلية الانتباه المزدوجة لاستخراج الميزات العالمية والمحلية من الصور متعددة الأنماط. ثانيًا، تم تصميم استراتيجية دمج ميزات غير متماثلة مع مشفرات ميزات مستقلة لكل نمط ودمج الميزات المستخرجة. وأخيرًا، يتم إنتاج الصورة المدمجة من خلال فك التشفير بعد دمج الميزات. يعتمد النموذج على تدريب من مرحلتين: في المرحلة الأولى يتم استخراج الميزات العالمية والمحلية من أنماط الصور المختلفة ومحاولة إعادة بناء الصورة الأصلية لحساب الخسارة؛ في المرحلة الثانية يستمر في استخراج الميزات العميقة وتوليد الصورة المدمجة. مقارنة بسبعة نماذج دمج صور رائدة، تحسن النموذج بمتوسط 12.63٪، 28.30٪، 31.37٪، 27.40٪، 19.01٪، 37.36٪، و32.44٪ على التوالي في الانحراف المعياري، التردد المكاني، دقة معلومات الرؤية، الترابط الطيفي، المعلومات المتبادلة، التدرج المتوسط، ومؤشر Q لتقييم الدمج المختلط. استراتيجية الدمج لهذا النموذج لا تدمج فقط ميزات الترميز متعددة الأنماط بكفاءة، بل تحقق دمج المعلومات التكميلية والتفاعل العالمي دون الحاجة إلى تصميم قواعد دمج يدوية، مما يمكن من دمج أفضل للصور متعددة الأنماط.

دمج الصور الطبية;آلية الانتباه المزدوجة;الدمج غير المتماثل;التدريب من مرحلتين