双方向クロスアテンショントランスフォーマーネットワークに基づく少数ショット画像セマンティックセグメンテーション

LIU Yu ,  

GUO Yingchun ,  

ZHU Ye ,  

YU Ming ,  

摘要

少数ショットの画像セマンティックセグメンテーションは、少量のサンプルで新しいクラスをセグメント化することができます。既存の方法におけるセマンティック情報の掘り出しが不十分な問題に対し、本論文では双方向クロスアテンションネットワークに基づく少数ショット画像セマンティックセグメンテーション手法を提案します。本手法はTransformer構造を採用し、チャンネル軸と空間軸の両方からマルチスケールのクエリ特徴とサポート特徴の遠距離依存性を同時に学習する双方向クロスアテンションモジュールを利用します。まず、本研究ではチャンネルクロスアテンションモジュールを提案し、位置クロスアテンションモジュールと組み合わせて双方向クロスアテンションモジュールを構成します。チャンネルクロスアテンションモジュールはクエリ特徴とサポート特徴間のチャネルセマンティック相互関係を学習するために用いられ、位置クロスアテンションモジュールはクエリ特徴とサポート特徴間の遠距離文脈関連性を捉えます。その後、複数の双方向クロスアテンションモジュールにより、クエリ画像に豊富なセマンティック情報を含むマルチスケールのインタラクティブ特徴を提供します。最後に、本研究は補助的な教師あり損失を導入し、アップサンプリングと残差接続を通じてマルチスケールのインタラクティブ特徴をデコーダに接続し、新しいクラスの正確なセグメンテーション結果を得ます。本手法はデータセットPASCAL-5iでmIoUが69.9%(1ショット)、72.4%(5ショット)、COCO-20iで48.9%(1ショット)、54.6%(5ショット)を達成しました。主流の手法と比較して、本手法のセグメンテーション性能は最先端の水準に達しています。

关键词

少数ショット画像セマンティックセグメンテーション;Transformer構造;チャンネルクロスアテンション;双方向クロスアテンション;補助損失

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website