Семантическая сегментация изображений с малым числом образцов позволяет сегментировать новые классы, используя лишь небольшое количество примеров. Для решения проблемы недостаточного извлечения семантической информации в существующих методах в данной статье предлагается метод семантической сегментации изображений с малым числом образцов на основе сети с двойным перекрёстным вниманием. Метод использует структуру Transformer, применяя модуль двойного перекрёстного внимания для одновременного изучения дальних зависимостей между многоуровневыми признаками запросов и опорными признаками по канальному и пространственному измерениям. Во-первых, в статье представлен модуль перекрёстного внимания по каналам, который в сочетании с модулем перекрёстного позиционного внимания образует модуль двойного перекрёстного внимания. Модуль перекрёстного внимания по каналам изучает семантические взаимосвязи по каналам между признаками запроса и опоры, а модуль перекрёстного позиционного внимания захватывает удалённые контекстные зависимости между признаками запроса и опоры. Затем несколько модулей двойного перекрёстного внимания обеспечивают многоуровневые интерактивные признаки с богатой семантической информацией для изображения запроса. В конце вводится вспомогательная функция потерь, и посредством методов апсемплинга и остаточных связей многоуровневые интерактивные признаки подключаются к декодеру для получения точных результатов сегментации новых классов. Метод достиг mIoU 69,9% (1-shot) и 72,4% (5-shot) на наборе данных PASCAL-5ⁱ, и 48,9% (1-shot) и 54,6% (5-shot) на наборе данных COCO-20ⁱ. По сравнению с основными методами, производительность сегментации данного подхода достигла передового уровня.

Семантическая сегментация изображений с малым числом образцов;Структура Transformer;Перекрёстное внимание по каналам;Двойное перекрёстное внимание;Вспомогательные потери