Семантическая сегментация изображений с малым количеством образцов является очень сложной задачей, которая пытается использовать несколько размеченных образцов для сегментации объектов новых классов. Основные методы часто сталкиваются с проблемами низкой различимости признаков и смещения прототипов. Для смягчения этих проблем в данной работе предлагается метод семантической сегментации изображений с малыми образцами на основе двойной агрегации и сети самослияния, который эффективно извлекает сходство признаков и уменьшает смещение прототипов. Во-первых, предлагается модуль двойной агрегации признаков и масок, который строит плотные отношения сходства, охватывающие все пространственные позиции между опорными и запрашиваемыми признаками, обеспечивая глобальную семантическую информацию для агрегации признаков и масок. Конкретно, посредством двойной агрегации признаков и масок на матрице сходства признаков можно получить усиленные признаки с направляющей информацией и начальные маски для запросного изображения. Затем предлагается декодер самослияния, который снижает смещение прототипов путем объединения само-прототипов на основе начальных масок и известных опорных прототипов и передает богатую категориальную семантическую информацию в декодер путем слияния усиленных признаков с объединенными прототипами. Наконец, с помощью информации о предсказании базовых классов дополнительно оптимизируется результат предсказания из декодера. Метод, предложенный в данной работе, достиг mIoU 68,3% и 71,5% в условиях 1-shot и 5-shot на датасете PASCAL-5ⁱ и 46,5% и 51,4% на датасете COCO-20ⁱ, превосходя показатели ведущих методов сегментации и обеспечивая более точное выделение областей объектов новых классов.

семантическая сегментация изображений с малыми образцами;сходство признаков;двойная агрегация;внутриклассовое разнообразие;самослияние