Viele aktuelle semantische Segmentierungsmodelle verwenden Trainingsdaten aus RGB-Bildern. In einigen extremen Umgebungen leidet die Stabilität der Modelle stark, was den tatsächlichen Anforderungen des autonomen Fahrens bei Nacht nicht entspricht. Um das Problem der semantischen Segmentierung von Nachtszenen zu lösen, wurde ResNet-152 als Merkmalsextraktionsnetzwerk verwendet und ein multimodales Doppel-Encoder-Decoder-Modell mit integriertem leichtgewichtigem Aufmerksamkeitsmodul entwickelt. Der Doppel-Encoder extrahiert Schlüsselinformationen aus den Modalitäten RGB und T, fusioniert diese über das Aufmerksamkeitsmodul und übergibt die extrahierten Merkmale an den Decoder. Dabei werden phasenweise hochskalierten Merkmalskarten und Merkmalskarten der einzelnen Encoder-Ebenen zusammengeführt, Merkmale über Faltungsschichten extrahiert und die Auflösung durch Upsampling wiederhergestellt, bevor die semantische Segmentierung durchgeführt wird. Die Experimentalergebnisse zeigen, dass die durchschnittliche Genauigkeit und der mittlere Intersection-over-Union (IoU) auf dem MFNet-Testdatensatz 76 % bzw. 55,7 % betragen, was eine Verbesserung gegenüber anderen Netzwerkmodellen darstellt und die grundlegenden Anforderungen an eine präzise semantische Segmentierung von RGB-T-Bildern bei Tages- und Nachtszenen erfüllt.

Nächtliche semantische Segmentierung; multimodal; leichtgewichtiges Aufmerksamkeitsmodul; multiskalige Information