Die semantische Bildsegmentierung mit wenigen Beispielen kann neue Klassen mit nur wenigen Beispielen segmentieren. Um das Problem der unzureichenden semantischen Informationsgewinnung in bestehenden Methoden zu lösen, schlägt dieser Artikel eine Methode zur semantischen Bildsegmentierung mit wenigen Beispielen auf Basis eines Netzwerks mit doppeltem Kreuz-Attention-Mechanismus vor. Die Methode verwendet eine Transformer-Struktur und nutzt ein Modul mit doppelter Kreuz-Attention, um gleichzeitig die Fernabhängigkeiten zwischen mehrskaligen Anfrage- und Unterstützungsmerkmalen sowohl im Kanal- als auch im Raumdimension zu erlernen. Zunächst wird in diesem Artikel ein kanalbasiertes Kreuz-Attention-Modul vorgeschlagen, das zusammen mit dem positionsbasierten Kreuz-Attention-Modul das doppelte Kreuz-Attention-Modul bildet. Das kanalbasierte Kreuz-Attention-Modul dient dazu, die semantischen Zusammenhänge zwischen Anfrage- und Unterstützungsmerkmalen auf Kanalebene zu lernen, während das positionsbasierte Modul die Fernkontextbeziehungen zwischen Anfrage- und Unterstützungsmerkmalen erfasst. Danach können durch mehrere Module mit doppelter Kreuz-Attention mehrskalige Interaktionsmerkmale mit reichhaltiger semantischer Information für das Anfragenbild bereitgestellt werden. Schließlich wird eine Hilfsüberwachungsverlustfunktion eingeführt, und durch Upsampling und Residualverbindungen werden die mehrskaligen Interaktionsmerkmale mit dem Decoder verbunden, um genaue Segmentierungsergebnisse für neue Klassen zu erhalten. Die Methode erreichte auf dem Datensatz PASCAL-5ⁱ einen mIoU von 69,9 % (1-Shot) und 72,4 % (5-Shot) sowie auf dem Datensatz COCO-20ⁱ einen mIoU von 48,9 % (1-Shot) und 54,6 % (5-Shot). Im Vergleich zu aktuellen Methoden erreichte die Segmentierungsleistung dieses Ansatzes ein führendes Niveau.

Semantische Bildsegmentierung mit wenigen Beispielen;Transformer-Struktur;Kanal-Kreuz-Attention;Doppelte Kreuz-Attention;Hilfsverlust