소수 샘플 이미지 의미 분할은 적은 수의 샘플로 새로운 클래스를 분할할 수 있습니다. 기존 방법에서 의미 정보 추출이 충분하지 않은 문제를 해결하기 위해, 본 논문에서는 이중 교차 주의 네트워크 기반의 소수 샘플 이미지 의미 분할 방법을 제안합니다. 본 방법은 Transformer 구조를 사용하며, 이중 교차 주의 모듈을 통해 채널 및 공간 차원에서 다중 스케일 쿼리 특징과 지원 특징 간의 원격 의존성을 동시에 학습합니다. 먼저, 본 논문에서는 채널 교차 주의 모듈을 제안하고 위치 교차 주의 모듈과 결합하여 이중 교차 주의 모듈을 구성합니다. 채널 교차 주의 모듈은 쿼리와 지원 특징 간의 채널 의미 상호작용을 학습하는 데 사용되며, 위치 교차 주의 모듈은 쿼리와 지원 특징 간의 원격 문맥 상관성을 포착하는 데 사용됩니다. 이후 여러 개의 이중 교차 주의 모듈을 통해 쿼리 이미지에 풍부한 의미 정보를 포함하는 다중 스케일 상호작용 특징을 제공할 수 있습니다. 마지막으로 보조 감독 손실을 도입하고 업샘플링 및 잔차 연결을 통해 다중 스케일 상호작용 특징을 디코더에 연결하여 정확한 새로운 클래스 분할 결과를 얻습니다. 본 방법은 PASCAL-5ⁱ 데이터셋에서 mIoU 69.9% (1-shot) 및 72.4% (5-shot), COCO-20ⁱ 데이터셋에서 mIoU 48.9% (1-shot) 및 54.6% (5-shot)을 달성했습니다. 주류 방법과 비교할 때 본 방법의 분할 성능은 최첨단 수준에 도달했습니다.

소수 샘플 이미지 의미 분할;Transformer 구조;채널 교차 주의;이중 교차 주의;보조 손실