In komplexen Szenarien fällt es Fusionsmodellen häufig schwer, die globale großskalige Struktur von Infrarotbildern und die lokalen kleinskalierten Details sichtbarer Bilder vollständig zu extrahieren und sie kooperativ zu fusionieren, was zu schlechten Fusionsergebnissen führt. Dieser Artikel schlägt das Prinzip der kooperativen Fusion basierend auf der Arbeitsteilung nach Skalen vor und entwirft ein neues Fusionsmodell basierend auf einer Autoencoder-Struktur, bei der der Encoder und Decoder Convolutional Neural Networks (CNN) verwenden. Das Modell nutzt einen globalen doppelt gruppierten Aufmerksamkeitsmechanismus, der die Merkmalskarten gruppenweise in Längen- und Breitenrichtung extrahiert und die Merkmalskarten mittels kanalübergreifender doppelt gruppierter Aufmerksamkeitskarten gewichtet, um neue Merkmalskarten mit mehr globaler großskaliger Strukturinformation zu erzeugen und die Extraktion multimensionaler Bildinformationen zu ermöglichen; es nutzt einen multiskaligen dilatierten Pooling-Convolution-Mechanismus, der durch unterschiedlich große Rezeptive Felder und die Durchführung globaler Durchschnitts- und Median-Pooling-Operationen lokale kleinskalaige Merkmalsinformationen im Bild extrahiert; der Decoder integriert dicht verbundene Schichten und Sprungverbindungen der großskaligen Struktur und der kleinskalierten Detailmerkmale, sodass diese kooperativ fusioniert werden und das fusionierte Bild rekonstruiert wird. Die experimentellen Ergebnisse zeigen, dass diese Methode auf den Datensätzen MSRS und TNO im Vergleich zu anderen Methoden die Informationsentropie, den mittleren Gradienten und die Kantenschärfe jeweils um 0,95 %, 6,28 %, 6,19 % und 1,75 %, 13,51 %, 11,75 % verbessert hat. Die räumliche Frequenz stieg im MSRS-Datensatz um 4,61 % und lag im TNO-Datensatz nur hinter der MDLSR-RFM-Methode, was die Qualität der Fusionsbilder in komplexen Szenarien effektiv verbessert und zudem eine gute Stabilität und Generalisierungsfähigkeit aufweist.

Fusion von Infrarot- und sichtbaren Bildern;Bildverbesserung;globale doppelt gruppierte Aufmerksamkeit;dilaterte Faltung