Segmentação contínua de imagens baseada em alinhamento de protótipos

GAO Yongzhan ,  

HUANG Lingxiao ,  

YAO Xinbo ,  

ZHOU Kaiyuan ,  

XU Haizhe ,  

摘要

Para abordar problemas como o esquecimento catastrófico do conhecimento de classes antigas, a insuficiente representação de novos alvos e o deslocamento dinâmico da semântica de fundo com o avanço da tarefa na segmentação contínua de imagens, este artigo propõe um método de segmentação incremental contínua orientado por protótipos (Prototype-Aligned Incremental Segmentation, PAIS). O método parte da estabilidade da representação a nível de objeto, modelando de forma unificada a inicialização, evolução e compensação semântica histórica das consultas de objetos no decodificador durante o aprendizado contínuo. O método inclui três módulos-chave: Inicialização Consciente de Protótipos (Prototype-Aware Initialization, PAI), que gera consultas de objetos selecionando posições com resposta semântica significativa no mapa de características atual, reforçando a capacidade do modelo para modelar novas classes; Aprendizagem de Consistência Temporal (Temporal Consistency Learning, TCL), que restringe a consistência das posições semânticas-chave e sua distribuição de respostas entre fases de aprendizado adjacentes para mitigar a degradação da objetividade causada pela deriva das características; Memória Consciente de Categorias (Category-Aware Memory, CAM), que mantém representações de memória compactas a nível de categoria, melhorando a capacidade de retenção de antigas classes sem depender de replay extenso de imagens. Os resultados experimentais em segmentação contínua panorâmica e segmentação semântica contínua no conjunto de dados ADE20K mostram que PAIS supera métodos representativos como ECLIPSE, BalConpas e CoMFormer em várias configurações de tarefa, divisões de dados e sequências de entrada; alcançando uma melhoria de 6,75% no índice PQ em um conjunto de dados anotado com 150 classes, ao mesmo tempo em que reduz as necessidades de armazenamento em cerca de dez vezes. Os resultados mostram que PAIS pode alcançar um bom equilíbrio entre a capacidade de aprendizado de novas classes, retenção de classes antigas e eficiência de armazenamento.

关键词

segmentação contínua de imagens;alinhamento de protótipos;aprendizagem de consistência temporal;memória consciente de categorias;segmentação panorâmica

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website