La segmentación semántica de imágenes con pocos ejemplos es una tarea muy desafiante que intenta usar unos pocos ejemplos etiquetados para segmentar objetos de nuevas clases. Los métodos principales suelen tener problemas de baja discriminación de características y sesgo de prototipos. Para aliviar estos problemas, este artículo propone un método de segmentación semántica de imágenes con pocos ejemplos basado en una doble agregación y una red de auto-fusión, que puede explotar completamente la similitud de características y reducir el sesgo de prototipos. Primero, se propone un módulo de doble agregación de características y máscaras, que construye una relación densa de similitud que cubre todas las posiciones espaciales entre las características de soporte y las características de consulta, proporcionando información semántica global para la agregación de características y máscaras. Específicamente, mediante una doble agregación de características y máscaras en la matriz de similitud de características, se pueden obtener características mejoradas guiadas y máscaras iniciales para la imagen de consulta. Luego, se propone un decodificador de auto-fusión, que reduce el sesgo de prototipos combinando auto-prototipos basados en máscaras iniciales y prototipos de soporte conocidos, y transmite información semántica categórica rica al decodificador mediante la fusión de características mejoradas con prototipos combinados. Finalmente, se optimizan aún más los resultados predichos del decodificador utilizando información de la predicción de la clase base. Nuestro método logró un mIoU de 68.3% y 71.5% en los casos de 1-shot y 5-shot en el conjunto de datos PASCAL-5ⁱ, y de 46.5% y 51.4% en el conjunto de datos COCO-20ⁱ, superando el rendimiento de los métodos principales de segmentación, pudiendo segmentar áreas objetivo de nuevas clases con mayor precisión.

segmentación semántica de imágenes con pocos ejemplos;similitud de características;doble agregación;variabilidad intraclase;auto-fusión