Zwischen verschiedenen medizinischen Bildgebungsmethoden bestehen Unterschiede in der räumlichen Informationsverteilung, was eine effektive Ausrichtung im tiefen Merkmalsraum erschwert und dazu führt, dass oberflächliche Informationen in bestimmten Bereichen des fusionierten Bildes verloren gehen oder eine übermäßige Abhängigkeit von einer Modalität besteht. Zur Lösung dieses Problems wurde ein asymmetrisches medizinisches Bildfusion-Modell basierend auf dem Restoration Transformer (Restormer) und einem Doppelaufmerksamkeitsmechanismus vorgeschlagen. Zunächst wird das Restormer-Modul verwendet, um tiefe Merkmale aus unterschiedlichen Modalitäten zu extrahieren, wobei ein Doppelaufmerksamkeitsmechanismus eingeführt wird, um globale und lokale Merkmale aus verschiedenen Modalitäten zu extrahieren. Danach wurde eine asymmetrische Merkmalsfusionsstrategie entwickelt, bei der für jede Modalität ein eigener Merkmal-Encoder entworfen und die extrahierten Merkmale fusioniert werden. Schließlich werden die fusionierten Merkmale durch einen Decoder genutzt, um das fusionierte Bild zu generieren. Das Modell wird in zwei Phasen trainiert: In Phase eins werden globale und lokale Merkmale aus unterschiedlichen Modalitäten extrahiert und versucht, das Originalbild zur Verlustberechnung rückzubauen; in Phase zwei werden weiterhin tiefere Merkmale extrahiert und das fusionierte Bild erzeugt. Im Vergleich zu sieben führenden Bildfusionmodellen wurden die sieben Bewertungsmetriken Standardabweichung, räumliche Frequenz, visuelle Informationsqualität, spektrale Korrelation, wechselseitige Information, durchschnittlicher Gradienten und der Q-Index zur Bewertung der Mischfusion im Durchschnitt um 12,63 %, 28,30 %, 31,37 %, 27,40 %, 19,01 %, 37,36 % bzw. 32,44 % verbessert. Die Fusionsstrategie dieses Modells ermöglicht nicht nur eine effiziente Integration der codierten Merkmale aus verschiedenen Modalitäten, sondern auch die Integration komplementärer Informationen und globale Interaktion, ohne manuell Fusionsregeln entwerfen zu müssen, was eine bessere Fusion unterschiedlicher Modalitäten ermöglicht.

medizinische Bildfusion; Doppelaufmerksamkeitsmechanismus; asymmetrische Fusion; zweiphasiges Training