A segmentação semântica de imagens com poucos exemplos é uma tarefa extremamente desafiadora, que tenta usar algumas amostras rotuladas para segmentar objetos de novas classes. Métodos convencionais geralmente apresentam baixa discriminabilidade de características e viés de protótipos. Para mitigar esses problemas, este artigo propõe um método de segmentação semântica de imagens com poucos exemplos baseado em agregação dupla e rede de auto-fusão, capaz de explorar plenamente a similaridade das características e reduzir o viés dos protótipos. Primeiro, é proposto um módulo de agregação dupla de características e máscara, que constrói uma relação de similaridade densa abrangendo todas as posições espaciais entre as características de suporte e consulta, fornecendo informações semânticas globais para agregação de características e máscaras. Especificamente, por meio da agregação dupla de características e máscaras na matriz de similaridade das características, pode-se obter características aprimoradas guiadas e máscaras iniciais para a imagem de consulta. Em seguida, é proposto um decodificador de auto-fusão, que reduz o viés dos protótipos ao combinar auto-protótipos baseados na máscara inicial com protótipos de suporte conhecidos, e transmite informações semânticas categóricas ricas ao decodificador por meio da fusão de características aprimoradas com protótipos combinados. Finalmente, os resultados previstos pelo decodificador são ainda mais otimizados usando informações de predição da classe base. Nosso método alcançou mIoU de 68,3% e 71,5% nos casos 1-shot e 5-shot no conjunto de dados PASCAL-5ⁱ, e de 46,5% e 51,4% no conjunto de dados COCO-20ⁱ, superando o desempenho dos métodos convencionais de segmentação, podendo segmentar com maior precisão as regiões alvo de novas classes.

segmentação semântica de imagens com poucos exemplos;similaridade de características;agregação dupla;variabilidade intraclasse;auto-fusão