소수 샘플 이미지 의미 분할은 몇 개의 라벨이 달린 샘플을 사용하여 새로운 클래스 객체를 분할하려는 매우 도전적인 작업입니다. 주류 방법들은 특징 판별력이 낮고 프로토타입 편향 등의 문제가 자주 발생합니다. 이러한 문제를 완화하기 위해 본 논문에서는 이중 집계와 자가 병합 네트워크 기반의 소수 샘플 이미지 의미 분할 방법을 제안하여 특징 유사성을 충분히 발굴하고 프로토타입 편향을 줄일 수 있습니다. 우선, 지원 특징과 쿼리 특징 간의 모든 공간 위치를 포괄하는 밀집 유사 관계를 구축하여 특징 집계와 마스크 집계에 글로벌 의미 정보를 제공하는 특징-마스크 이중 집계 모듈을 제안합니다. 구체적으로, 특징 유사 행렬에 대한 특징과 마스크 이중 집계를 통해 쿼리 이미지에 정보가 유도된 강화된 특징과 초기 마스크를 획득할 수 있습니다. 그 다음, 초기 마스크 기반 자가 프로토타입과 알려진 지원 프로토타입을 병합하여 프로토타입 편향을 줄이고 강화된 특징과 병합된 프로토타입을 융합하여 디코더에 풍부한 클래스 의미 정보를 전달하는 자가 병합 디코더를 제안합니다. 마지막으로, 기본 클래스 예측 정보를 활용하여 디코더의 예측 결과를 추가로 최적화합니다. 본 논문의 방법은 데이터셋 PASCAL-5ⁱ에서 1-shot과 5-shot 상황에서 각각 68.3%와 71.5% mIoU를, 데이터셋 COCO-20ⁱ에서 1-shot과 5-shot 상황에서 각각 46.5%와 51.4% mIoU를 달성하여 주류 방법보다 우수한 분할 성능으로 새로운 클래스의 목표 영역을 더 정확하게 분할할 수 있습니다.

소수 샘플 이미지 의미 분할;특징 유사성;이중 집계;클래스 내 이질성;자가 병합