プロトタイプ整合型継続画像分割

GAO Yongzhan ,  

HUANG Lingxiao ,  

YAO Xinbo ,  

ZHOU Kaiyuan ,  

XU Haizhe ,  

摘要

継続的画像分割における旧クラス知識の壊滅的忘却、新クラス対象の表現不足、およびタスクの進行に伴う背景セマンティクスの動的偏移という問題に対処するため、本論文ではクラス増分シナリオに対応したプロトタイプ整合型継続画像分割手法(Prototype-Aligned Incremental Segmentation、PAIS)を提案する。本手法はオブジェクトレベルの表現安定性の観点から、継続学習過程におけるデコーダ端のオブジェクトクエリの初期化、進化、および過去のセマンティック補償を統一的にモデル化する。手法は3つの主要モジュールを含む:プロトタイプ認識初期化(Prototype-Aware Initialization、PAI)は現在の特徴マップからセマンティック応答が顕著な位置を選択してオブジェクトクエリを生成し、モデルの新クラスモデリング能力を強化する;時系列一貫性学習(Temporal Consistency Learning、TCL)は隣接する学習段階の主要セマンティック位置とその応答分布の一貫性を制約し、特徴ドリフトによるオブジェクト性の低下を緩和する;カテゴリ認識メモリ(Category-Aware Memory、CAM)は大量の画像リプレイに依存せずに旧クラス保持能力を向上させる緻密なカテゴリレベルメモリ表現を維持する。ADE20Kデータセットでの継続的パノラマ分割および継続的セマンティック分割の実験結果は、PAISがさまざまなタスク設定、データ分割および入力シーケンスにおいてECLIPSE、BalConpas、CoMFormerなどの代表的手法を上回ることを示す。150クラスを網羅する注釈データセットにおいてPQ指標が6.75%向上し、保存要件を約10分の1に削減した。実験結果は、PAISが新クラス学習能力、旧クラス保持能力、および保存効率のバランスを良好に実現できることを示している。

关键词

継続画像分割;プロトタイプ整合;時系列一貫性学習;カテゴリ認識メモリ;パノラマ分割

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website