توجد اختلافات في توزيع المعلومات الفضائية بين أنماط التصوير الطبي المختلفة ، مما يعيق تحقيق توجيه فعال لمساحة السمة العميقة ، مما يؤدي إلى فقدان معلومات سطحية محددة أو الاعتماد المفرط على معلومات نمط معين في الصورة المدمجة. لحل هذه المشكلة ، تم اقتراح نموذج غير متماثل لدمج الصور الطبية استنادًا إلى تحويلة Restormer (Restormer) وآلية اهتمام مزدوجة. أولاً ، استخدام وحدة Restormer لاستكشاف ميزات عميقة لصور النمط المختلفة وإدخال آلية اهتمام مزدوجة لاستخراج ميزات عالمية ومحلية لصور النمط المختلفة. ثانياً ، تصميم استراتيجية غير متماثلة لدمج الميزات ، حيث يتم تصميم مُشفر مستقل لكل نمط ، ويتم دمج الميزات المستخرجة ؛ أخيرًا ، يتم إنشاء الصورة المدمجة من خلال فك المشفر. تمر تلك النموذج بتدريب في مرحلتين ، حيث يتم في المرحلة الأولى استخراج الميزات العالمية والمحلية من صور النمط المختلفة بشكل منفصل ومحاولة إعادة بناء الصورة الأصلية لحساب الخسارة ، وفي المرحلة الثانية يتم استمرار استخراج الميزات العميقة وإنشاء الصورة المدمجة. بالمقارنة مع سبعة نماذج شائعة لدمج الصور ، تم تحسين المتوسط ​​بنسبة 12.63٪ ، 28.30٪ ، 31.37٪ ، 27.40٪ ، 19.01٪ ، 37.36٪ ، 32.44٪ على السبعة مؤشرات تقييم ، فارق المعيار ، التردد الفضائي ، الحفاظ على المعلومات البصرية ، تماسك الطيف ، المعلومات المتبادلة ، والمعدل التوجيهي لتقييم الدمج المختلط. تستطيع استراتيجية الدمج هذه ليس فقط دمج ميزات الترميز القادمة من الأنماط المختلفة بشكل فعال ، ولكنها لا تحتاج أيضًا إلى تصميم يدوي لقواعد الدمج لإتمام دمج المعلومات المكملة وتبادل المعلومات العالمية ، مما يوفر دمجًا أفضل للصور من أنماط مختلفة.

دمج صور طبية ؛ آلية اهتمام مزدوجة ؛ دمج غير متماثل ؛ تدريب مرحلتين