Um das langjährige Problem zu lösen, dass die visuelle Fusionsqualität und die Genauigkeit semantischer Aufgaben bei der Fusion von Infrarot- und sichtbaren Bildern schwer zu vereinbaren sind, schlägt dieser Artikel einen multimodalen semantischen Segmentierungsrahmen auf Basis semantischer Prioritäten vor. Obwohl bestehende Methoden zur Fusion von Infrarot- und sichtbaren Bildern die visuelle Qualität der fusionierten Bilder bis zu einem gewissen Grad verbessern können, schwächen sie oft den semantischen Informationsgehalt im Bild ab, was die Leistung nachgelagerter semantischer Segmentierungsaufgaben beeinträchtigt. Zur Lösung dieses Problems wird in dieser Arbeit das vortrainierte SAM (Segment Anything Model) als eingefrorenes semantisches Prioritätsmodell eingeführt, das das multimodale Feature-Learning im Fusionsprozess anleitet, um die Konsistenz der semantischen Informationen zu bewahren. Im vorgeschlagenen Rahmen werden RGB- und Infrarotbilder teilweise in den SAM-Encoder eingespeist, um mehrschichtige visuelle Merkmalsrepräsentationen zu erhalten, während ein speziell entworfener Fusionsmodul komplementäre Merkmale zwischen den Modalitäten extrahiert. In den verschiedenen Merkmalsphasen werden die von SAM extrahierten Merkmale über einen semantischen Erhaltungszweig weiter optimiert, und ein semantisch bewusster multimodaler Verstärkungsmodul wird zur Merkmalverstärkung eingeführt. Dieses Modul verbessert durch die Fusion von eingebetteten Textlabel-Informationen die Reaktionsfähigkeit des Modells auf verschiedene Objektklassen und erhöht effektiv die Segmentiergenauigkeit in den Grenzbereichen der Ziele. Experimentelle Ergebnisse zeigen, dass die vorgeschlagene Methode die Fähigkeit der semantischen Informationsbewahrung, die Fusionsgenauigkeit und die visuelle Rekonstruktionsqualität erheblich verbessert und die Wirksamkeit und Stabilität des Rahmens für die semantische Segmentierungsaufgabe von Infrarot- und sichtbaren Bildern bestätigt.

multimodale semantische Segmentierung; Infrarot- und sichtbare Bildfusion; vortrainiertes SAM-Modell; Merkmalsmodulation; gated Fusionsmechanismus; semantische Prioritäten; Cross-Modal Learning