Segmentation continue des images basée sur l’alignement des prototypes

GAO Yongzhan ,  

HUANG Lingxiao ,  

YAO Xinbo ,  

ZHOU Kaiyuan ,  

XU Haizhe ,  

摘要

Pour traiter les problèmes d'oubli catastrophique des connaissances des anciennes classes, de représentation insuffisante des nouvelles cibles et de décalage dynamique de la sémantique de fond avec l'avancement des tâches dans la segmentation d'image continue, cet article propose une méthode de segmentation incrémentale continue basée sur l'alignement des prototypes (Prototype-Aligned Incremental Segmentation, PAIS). Cette méthode part du point de vue de la stabilité de la représentation au niveau des objets, modélisant de manière unifiée l'initialisation, l'évolution et la compensation sémantique historique des requêtes d'objets dans le décodeur lors de l'apprentissage continu. La méthode comprend trois modules clés : l'initialisation consciente des prototypes (Prototype-Aware Initialization, PAI) qui génère des requêtes d'objets en sélectionnant des positions à forte réponse sémantique dans la carte des caractéristiques actuelle, renforçant la capacité du modèle à modéliser de nouvelles classes ; l'apprentissage de la cohérence temporelle (Temporal Consistency Learning, TCL) qui contraint la cohérence des positions sémantiques clés et de leur distribution de réponse entre les phases d'apprentissage consécutives, atténuant la dégradation de l'objectivité due à la dérive des caractéristiques ; la mémoire consciente des catégories (Category-Aware Memory, CAM) qui maintient des représentations de mémoire compacte au niveau des catégories, améliorant la capacité à conserver les anciennes classes sans dépendre d'un grand nombre de répétitions d'images. Les résultats des expériences sur la segmentation panoramique et sémantique continue sur le jeu de données ADE20K montrent que PAIS surpasse des méthodes représentatives telles que ECLIPSE, BalConpas et CoMFormer sous divers réglages de tâches, divisions de données et séquences d'entrée ; obtenant une amélioration de 6,75 % de l'indice PQ sur un jeu de données annoté couvrant 150 classes, tout en réduisant les besoins de stockage d'environ dix fois. Les résultats expérimentaux démontrent que PAIS parvient à un bon équilibre entre la capacité d'apprentissage des nouvelles classes, la conservation des anciennes classes et l'efficacité du stockage.

关键词

segmentation continue des images;alignement des prototypes;apprentissage de la cohérence temporelle;mémoire consciente des catégories;segmentation panoramique

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website