프로토타입 정렬 기반 지속 이미지 분할

GAO Yongzhan ,  

HUANG Lingxiao ,  

YAO Xinbo ,  

ZHOU Kaiyuan ,  

XU Haizhe ,  

摘要

지속적인 이미지 분할에서 기존 클래스 지식의 치명적 망각, 새로운 클래스 목표 표현 부족 및 작업 진행에 따른 배경 의미의 동적 편향 문제를 해결하기 위해, 본 논문에서는 클래스 증분 시나리오를 위한 프로토타입 정렬 기반 지속 이미지 분할 방법(Prototype-Aligned Incremental Segmentation, PAIS)을 제안한다. 이 방법은 객체 수준 표현 안정성 관점에서 지속 학습 과정 중 디코더 측 객체 쿼리의 초기화, 진화 및 과거 의미 보상을 통합 모델링한다. 본 방법은 세 가지 핵심 모듈을 포함한다: 프로토타입 인식 초기화(Prototype-Aware Initialization, PAI)는 현재 특징 맵에서 의미적 반응이 뚜렷한 위치를 선택하여 객체 쿼리를 생성하고, 모델의 새로운 클래스 모델링 능력을 향상시킨다; 시계열 일관성 학습(Temporal Consistency Learning, TCL)은 인접 학습 단계 간 주요 의미 위치 및 반응 분포의 일관성을 제약하여 특징 이동으로 인한 객체성 저하를 완화한다; 범주 인식 메모리(Category-Aware Memory, CAM)는 대량 이미지 재생에 의존하지 않고도 기존 클래스 유지 능력을 향상시키는 촘촘한 범주 수준 메모리 표현을 유지한다. ADE20K 데이터셋에서의 지속적 파노라마 분할 및 지속 의미 분할 실험 결과, PAIS는 다양한 작업 설정, 데이터 분할 및 입력 시퀀스에서 ECLIPSE, BalConpas, CoMFormer 등 대표적 방법보다 우수한 성능을 보였다; 150개 범주를 포함한 주석 데이터셋에서 PQ 지표가 6.75% 향상되었으며 저장 요구량은 약 10배 감소했다. 실험 결과는 PAIS가 새로운 클래스 학습 능력, 기존 클래스 유지 능력 및 저장 효율성 간에 균형을 잘 이룰 수 있음을 보여준다.

关键词

지속 이미지 분할;프로토타입 정렬;시계열 일관성 학습;범주 인식 메모리;파노라마 분할

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website