La segmentación semántica de imágenes con pocas muestras puede segmentar nuevas clases usando solo una pequeña cantidad de muestras. Para abordar el problema de la extracción insuficiente de información semántica en los métodos existentes, este artículo propone un método de segmentación semántica de imágenes con pocas muestras basado en una red de atención cruzada doble. Este método utiliza una estructura Transformer y emplea un módulo de atención cruzada doble para aprender simultáneamente las dependencias remotas entre las características de consulta y las características de soporte a múltiples escalas desde las dimensiones de canal y espacial. En primer lugar, este artículo propone un módulo de atención cruzada por canal, que combinado con un módulo de atención cruzada por posición conforman el módulo de atención cruzada doble. El módulo de atención cruzada por canal se utiliza para aprender las relaciones semánticas entre canal entre las características de consulta y soporte, mientras que el módulo de atención cruzada por posición captura la correlación contextual remota entre las características de consulta y soporte. Luego, mediante varios módulos de atención cruzada doble, se pueden proporcionar características interactivas multiescala ricas en información semántica para la imagen de consulta. Finalmente, este trabajo introduce una pérdida de supervisión auxiliar y conecta las características interactivas multiescala al decodificador a través de sobremuestreo y conexión residual para obtener resultados precisos de segmentación de nuevas clases. El método alcanzó una mIoU de 69.9% (1-shot) y 72.4% (5-shot) en el conjunto de datos PASCAL-5ⁱ, y una mIoU de 48.9% (1-shot) y 54.6% (5-shot) en el conjunto de datos COCO-20ⁱ. En comparación con los métodos principales, el rendimiento de segmentación de este método alcanza un nivel avanzado.

Segmentación semántica de imágenes con pocas muestras;Estructura Transformer;Atención cruzada por canal;Atención cruzada doble;Pérdida auxiliar