Kontinuierliche Bildsegmentierung basierend auf prototypausgerichteter Methode

GAO Yongzhan ,  

HUANG Lingxiao ,  

YAO Xinbo ,  

ZHOU Kaiyuan ,  

XU Haizhe ,  

摘要

Um den Problemen des katastrophalen Vergessens von Kenntnissen über alte Klassen, unzureichender Repräsentation neuer Objektklassen und dynamischer Verschiebung der Hintergrundsemantik mit Fortschreiten der Aufgabe bei der kontinuierlichen Bildsegmentierung zu begegnen, wird in diesem Artikel eine prototypausgerichtete kontinuierliche Bildsegmentierungsmethode (Prototype-Aligned Incremental Segmentation, PAIS) vorgeschlagen. Die Methode geht aus der Perspektive der Stabilität der Objektrepräsentation aus und modelliert die Initialisierung, Entwicklung und historische semantische Kompensation der Objektabfragen auf der Dekodiererseite im kontinuierlichen Lernprozess einheitlich. Die Methode umfasst drei Schlüsselmodule: prototypbewusste Initialisierung (Prototype-Aware Initialization, PAI), die Objektabfragen durch Auswahl semantisch signifikanter Positionen aus der aktuellen Merkmalskarte generiert und die Modellierungskapazität für neue Klassen verbessert; zeitliche Konsistenzlernen (Temporal Consistency Learning, TCL), das die Konsistenz zentraler semantischer Positionen und deren Antwortverteilung zwischen benachbarten Lernphasen einschränkt und die Objektdegradierung durch Merkmalverschiebung mildert; kategoriebewusstes Gedächtnis (Category-Aware Memory, CAM), das kompakte kategorienahe Gedächtnisrepräsentationen pflegt und die Fähigkeit zur Beibehaltung alter Klassen ohne Rückgriff auf umfangreiche Bildwiedergaben verbessert. Experimente zur kontinuierlichen Panoramasegmentierung und kontinuierlichen semantischen Segmentierung auf dem ADE20K-Datensatz zeigen, dass PAIS repräsentative Methoden wie ECLIPSE, BalConpas und CoMFormer in verschiedenen Aufgabenstellungen, Datenaufteilungen und Eingabesequenzen übertrifft; es erzielt eine Steigerung des PQ-Maßes um 6,75 % auf einem annotierten Datensatz mit 150 Klassen und reduziert gleichzeitig den Speicherbedarf um etwa das Zehnfache. Die Ergebnisse zeigen, dass PAIS eine gute Balance zwischen der Lernfähigkeit neuer Klassen, der Beibehaltung alter Klassen und der Speichereffizienz erreicht.

关键词

kontinuierliche Bildsegmentierung;prototypausrichtung;zeitliches Konsistenzlernen;kategoriebewusstes Gedächtnis;Panoramasegmentierung

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website