Few-Shot-Semantische Bildsegmentierung ist eine sehr herausfordernde Aufgabe, die versucht, mit wenigen beschrifteten Beispielen neue Klassen zu segmentieren. Gängige Methoden weisen häufig Probleme wie geringe Merkmalstrennschärfe und Prototypabweichungen auf. Um diese Probleme zu mildern, schlägt diese Arbeit eine Few-Shot-Semantische Bildsegmentierungsmethode basierend auf doppelter Aggregation und einem Selbstzusammenführungsnetz vor, die Merkmalsähnlichkeiten umfassend nutzt und Prototypabweichungen verringert. Zunächst wird ein Merkmal-Maske-Doppelaggregationsmodul vorgestellt, das dichte Ähnlichkeitsbeziehungen zwischen Unterstützungsmerkmalen und Abfragemerkmalen über alle räumlichen Positionen hinweg aufbaut und globale semantische Informationen für die Merkmals- und Maskenaggregation bereitstellt. Konkret ermöglicht die doppelte Aggregation von Merkmalen und Masken über die Merkmalsähnlichkeitsmatrix, für das Abfragebild verstärkte, geleitete Merkmale und eine initiale Maske zu erhalten. Anschließend wird ein Selbstzusammenführungsdecoder vorgeschlagen, der Prototypabweichungen durch Kombination von selbstbasierten Prototypen auf Basis der initialen Maske und bekannten Unterstützungsprototypen reduziert und durch Fusion verstärkter Merkmale und kombinierter Prototypen reichhaltige Kategorienssemantikinformationen an den Decoder übermittelt. Schließlich werden die Vorhersageergebnisse des Decoders weiter durch Grundklassen-Vorhersageinformationen optimiert. Unsere Methode erreicht einen mIoU von 68,3 % und 71,5 % in 1-Shot- und 5-Shot-Fällen auf dem PASCAL-5ⁱ-Datensatz sowie 46,5 % und 51,4 % auf dem COCO-20ⁱ-Datensatz und übertrifft die Segmentierungsleistung gängiger Methoden, wodurch Zielbereiche neuer Klassen genauer segmentiert werden können.

Few-Shot-Semantische Bildsegmentierung;Merkmalsähnlichkeit;Doppelaggregation;innerhalb-Klassen-Variabilität;Selbstzusammenführung