Segmentación continua de imágenes basada en alineación de prototipos

GAO Yongzhan ,  

HUANG Lingxiao ,  

YAO Xinbo ,  

ZHOU Kaiyuan ,  

XU Haizhe ,  

摘要

Para abordar los problemas del olvido catastrófico del conocimiento de clases antiguas, la insuficiente representación de nuevos objetivos y el desplazamiento dinámico de la semántica de fondo a medida que avanza la tarea en la segmentación continua de imágenes, este artículo propone un método de segmentación incremental orientado a prototipos (Prototype-Aligned Incremental Segmentation, PAIS). El método parte de la estabilidad de la representación a nivel de objetos, modelando de forma unificada la inicialización, evolución y compensación semántica histórica de las consultas de objetos en el decodificador durante el aprendizaje continuo. El método incluye tres módulos clave: la inicialización consciente de prototipos (Prototype-Aware Initialization, PAI), que genera consultas de objetos seleccionando posiciones con respuestas semánticas destacadas del mapa de características actual, mejorando la capacidad del modelo para modelar nuevas clases; el aprendizaje de consistencia temporal (Temporal Consistency Learning, TCL), que restringe la consistencia de las posiciones semánticas clave y su distribución de respuestas entre etapas de aprendizaje adyacentes para mitigar la degradación de la objetividad causada por el desplazamiento de características; y la memoria consciente de categorías (Category-Aware Memory, CAM), que mantiene representaciones de memoria compactas a nivel de categorías, mejorando la capacidad de retener clases antiguas sin depender de la reproducción masiva de imágenes. Los resultados experimentales en segmentación panorámica continua y segmentación semántica continua en el conjunto de datos ADE20K muestran que PAIS supera métodos representativos como ECLIPSE, BalConpas y CoMFormer en múltiples configuraciones de tareas, divisiones de datos y secuencias de entrada; logrando una mejora del 6,75% en el índice PQ en un conjunto de datos anotado con 150 clases, al tiempo que reduce las necesidades de almacenamiento aproximadamente diez veces. Los resultados demuestran que PAIS puede lograr un buen equilibrio entre la capacidad de aprendizaje de nuevas clases, la retención de clases antiguas y la eficiencia del almacenamiento.

关键词

segmentación continua de imágenes;alineación de prototipos;aprendizaje de consistencia temporal;memoria consciente de categorías;segmentación panorámica

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website