少数ショット画像セマンティックセグメンテーションは、数個のラベル付きサンプルを用いて新しいクラスの対象物をセグメントしようとする非常に挑戦的なタスクです。主流の方法は特徴の識別性が低く、プロトタイプのバイアスなどの問題を抱えています。これらの問題を緩和するために、本論文では二重集約と自己マージネットワークに基づく少数ショット画像セマンティックセグメンテーション手法を提案し、特徴類似性を十分に活用しプロトタイプのバイアスを低減します。まず、支援特徴とクエリ特徴間の全ての空間位置を網羅する密な類似関係を構築し、特徴集約とマスク集約にグローバルなセマンティック情報を提供する特徴-マスク二重集約モジュールを提案します。具体的には、特徴類似行列に対する特徴とマスクの二重集約により、クエリ画像に指導情報を持つ強化特徴と初期マスクを取得できます。次に、初期マスクに基づく自己プロトタイプと既知の支援プロトタイプをマージしてプロトタイプのバイアスを低減し、強化特徴とマージプロトタイプを融合してデコーダに豊富なクラスのセマンティック情報を伝達する自己マージデコーダを提案します。最後に、ベースクラスの予測情報を用いてデコーダからの予測結果をさらに最適化します。本手法はデータセットPASCAL-5ⁱにおける1-shotおよび5-shot条件でそれぞれ68.3％および71.5％のmIoU、データセットCOCO-20ⁱにおける1-shotおよび5-shot条件でそれぞれ46.5％および51.4％のmIoUを達成し、主流の手法を上回るセグメンテーション性能で新しいクラスの対象領域をより正確に分割できます。

少数ショット画像セマンティックセグメンテーション;特徴類似性;二重集約;クラス内差異;自己マージ