Zwischen verschiedenen Modalitäten der medizinischen Bildgebung gibt es Unterschiede in der Verteilung von räumlichen Informationen, was eine effektive Ausrichtung des Tiefenmerkmalsraums erschwert und dazu führt, dass oberflächliche Informationen in spezifischen Bereichen verloren gehen oder eine übermäßige Abhängigkeit von Informationen einer bestimmten Modalität besteht. Um dieses Problem zu lösen, wurde ein asymmetrisches Modell zur Fusion von medizinischen Bildern auf der Grundlage des Wiederherstellungstransformators (Restormer) und eines zweifachen Aufmerksamkeitsmechanismus vorgeschlagen. Zunächst wird das Restormer-Modul zur Exploration der tiefen Merkmale verschiedener Modalitäten von Bildern verwendet und ein zweifacher Aufmerksamkeitsmechanismus eingeführt, um globale und lokale Merkmale verschiedener Bildmodalitäten zu extrahieren. Zweitens wurde eine asymmetrische Merkmalsfusionsstrategie entwickelt, bei der für jede Modalität ein unabhängiger Merkmalencoder entworfen wird und die extrahierten Merkmale fusioniert werden; schließlich werden die fusionierten Merkmale durch einen Decoder geleitet, um das fusionierte Bild zu generieren. Dieses Modell durchlief ein zweistufiges Training, bei dem in der ersten Phase globale und lokale Merkmale aus den verschiedenen Bildmodalitäten extrahiert werden und ein Versuch unternommen wird, das ursprüngliche Bild zur Berechnung des Verlusts wiederherzustellen, während in der zweiten Phase die Extraktion von tiefen Merkmalen fortgesetzt und ein fusioniertes Bild generiert wird. Im Vergleich zu sieben gängigen Bildfusionsmodellen wurde eine durchschnittliche Verbesserung um 12,63%, 28,30%, 31,37%, 27,40%, 19,01%, 37,36% und 32,44% bei den sieben Bewertungskennzahlen, Standardabweichung, räumliche Frequenz, visuelle Treue, spektrale Korrelation, beobachtete Information, durchschnittlicher Gradient und dem Q-Index zur Beurteilung der gemischten Fusion beobachtet. Diese Fusionsstrategie kann nicht nur die kodierten Merkmale verschiedener Modalitäten effektiv integrieren, sondern erfordert auch keine manuelle Gestaltung von Fusionsregeln, um die Integration ergänzender Informationen und die Interaktion globaler Informationen abzuschließen, was eine bessere Fusion von Bildern verschiedener Modalitäten ermöglicht.

Fusion von medizinischen Bildern; Zweifacher Aufmerksamkeitsmechanismus; Asymmetrische Fusion; Zweistufiges Training