A segmentação semântica de imagens com poucos exemplos pode segmentar novas classes utilizando apenas uma pequena quantidade de amostras. Para abordar o problema da extração insuficiente de informações semânticas nos métodos existentes, este artigo propõe um método de segmentação semântica de imagens com poucos exemplos baseado em uma rede de atenção cruzada dupla. O método utiliza uma estrutura Transformer e emprega um módulo de atenção cruzada dupla para aprender simultaneamente as dependências remotas entre as características de consulta e suporte em múltiplas escalas, tanto nas dimensões de canal quanto espacial. Primeiramente, este artigo propõe um módulo de atenção cruzada por canal, que, combinado com o módulo de atenção cruzada posicional, forma o módulo de atenção cruzada dupla. O módulo de atenção cruzada por canal é usado para aprender as relações semânticas entre canais das características de consulta e suporte, enquanto o módulo de atenção cruzada posicional captura a correlação contextual remota entre as características de consulta e suporte. Em seguida, vários módulos de atenção cruzada dupla podem fornecer características interativas multiescala ricas em informações semânticas para a imagem de consulta. Por fim, este artigo introduz uma perda de supervisão auxiliar e conecta as características interativas multiescala ao decodificador através de upsampling e conexões residuais para obter resultados precisos de segmentação de novas classes. O método alcançou mIoU de 69,9% (1-shot) e 72,4% (5-shot) no conjunto de dados PASCAL-5ⁱ, e mIoU de 48,9% (1-shot) e 54,6% (5-shot) no conjunto de dados COCO-20ⁱ. Em comparação com os métodos principais, o desempenho de segmentação deste método atingiu um nível de ponta.

Segmentação semântica de imagens com poucos exemplos;Estrutura Transformer;Atenção cruzada por canal;Atenção cruzada dupla;Perda auxiliar