Die Fusion von Infrarot- und sichtbaren Bildern zielt darauf ab, die ergänzenden Merkmale der verschiedenen Modi zu erhalten, um eine robuste Wahrnehmung komplexer Szenen zu ermöglichen. Sie hat in vielen Bereichen wie der Sicherheitsüberwachung, militärischen Aufklärung und dem autonomen Fahren eine entscheidende Anwendungsbedeutung. Allerdings konzentrieren sich bestehende Bildfusionalgorithmen darauf, die visuellen Effekte der Bilder zu verbessern, was dazu führt, dass wichtige semantische Informationen im Fusionprozess nicht effektiv erhalten bleiben und somit die Anwendungseffekte fusinierter Bilder in anspruchsvollen visuellen Aufgaben beeinträchtigt werden. Obwohl vorhandene Methoden versuchen, die Fusionsaufgabe mit fortgeschrittenen visuellen Aufgaben (Segmentierung, Detektion usw.) zu kaskadieren, ist diese sequentielle Verbindung jedoch nur begrenzt wirksam bei der Verstärkung semantischer Informationen. Um visuelle Effekte und nachgelagerte Aufgaben gleichermaßen zu berücksichtigen, schlagen wir in diesem Artikel ein hierarchisch gesteuertes semantisches Fusionnetzwerk von Infrarot- und sichtbaren Bildern SDFusion vor. Zunächst wird ein gemeinsamer Merkmalscodierer zur mehrschichtigen multimodalen Merkmalsextraktion für Infrarot- und sichtbare Bilder verwendet. Dann erfolgt eine parallele kooperative Optimierung des Bildfusionsdekodierers und des semantischen Segmentierungsdekodierers, wobei die codierten Merkmale schichtweise in die dekodierten Merkmale eingeführt werden, um die Merkmalsrepräsentation zu stärken und eine gemeinsame Modellierung der Fusionsmerkmale und semantischen Merkmale zu erreichen. In Bezug auf die Fusionsergebnisse zeigt das Experiment, dass unsere Methode im Vergleich zu herkömmlichen Methoden die fünf objektiven Evaluationsindikatoren EN, SD, MI, VIFF, QAB/F um jeweils 3,7 %, 7,3 %, 45,3 %, 18,5 %, 7,2 % verbessert hat. Darüber hinaus zeigt unsere Methode bessere Leistung bei nachgelagerten Segmentierungsaufgaben im Vergleich zu herkömmlichen Methoden. Diese Experimente bestätigen die Wirksamkeit der SDFusion-Methode vollständig. Die Fusionsergebnisse haben nicht nur zu einer deutlichen Verbesserung der visuellen Effekte geführt, sondern auch die Durchführung anspruchsvoller visueller Aufgaben erheblich gefördert und somit neue Ansätze und Methoden für die Entwicklung der Fusionstechnologie von Infrarot- und sichtbaren Bildern bereitgestellt.

infrared and visible image fusion;semantic-driven;collaborative optimization