Continual image segmentation based on prototype alignment

GAO Yongzhan; HUANG Lingxiao; YAO Xinbo; ZHOU Kaiyuan; XU Haizhe

doi:10.37188/CJLCD.2026-0050

您当前的位置：

首页 >

文章列表页 >

Continual image segmentation based on prototype alignment

Image Processing | 更新时间：2026-09-12

- Continual image segmentation based on prototype alignment
- Chinese Journal of Liquid Crystals and Displays Vol. 41, Issue 4, Pages: 565-577(2026)
- 作者机构：
  
  1.宁夏大学信息工程学院，宁夏银川 750021
  2.宁夏大学 “东数西算”人工智能与信息安全重点实验室，宁夏银川 750021
  3.宁夏大数据与人工智能省部共建协同创新中心，宁夏银川 750021
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(12462027);Natural Science Foundation of Ningxia(2025AAC030205)
- DOI：10.37188/CJLCD.2026-0050
  CLC： TP391.4
- CSTR：32172.14.CJLCD.2026-0050
- Received：08 March 2026，
  
  Revised：2026-03-15，
  
  Published：05 April 2026
- 稿件说明：
移动端阅览
GAO Yongzhan, HUANG Lingxiao, YAO Xinbo, et al. Continual image segmentation based on prototype alignment[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(4): 565-577.
DOI：

GAO Yongzhan, HUANG Lingxiao, YAO Xinbo, et al. Continual image segmentation based on prototype alignment[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(4): 565-577. DOI： 10.37188/CJLCD.2026-0050. CSTR： 32172.14.CJLCD.2026-0050.

摘要

针对持续图像分割中旧类知识灾难性遗忘、新类目标表征不足以及背景语义随任务推进动态偏移等问题，本文提出一种面向类增量场景的原型对齐持续图像分割方法（Prototype-Aligned Incremental Segmentation，PAIS）。该方法从对象级表征稳定性的角度出发，对持续学习过程中解码端对象查询的初始化、演化与历史语义补偿进行统一建模。该方法包含3个关键模块：原型感知初始化（Prototype-Aware Initialization，PAI）通过从当前特征图中选择语义响应显著的位置生成对象查询，增强模型对新类别的建模能力；时序一致性学习（Temporal Consistency Learning，TCL）约束相邻学习阶段关键语义位置及其响应分布的一致性，缓解特征漂移导致的对象性退化；类别感知记忆（Category-Aware Memory，CAM）维护紧凑的类别级记忆表征，在不依赖大量图像重放的条件下提升旧类别保持能力。在ADE20K数据集上的持续全景分割与持续语义分割实验结果表明，PAIS在多种任务设置、数据划分及输入序列下均优于ECLIPSE、BalConpas和CoMFormer等代表性方法；在覆盖150类的标注数据集上实现了6.75%的PQ指标提升，同时将存储需求降低约10倍。实验结果表明，PAIS能够在新类学习能力、旧类保持能力与存储效率之间取得较好的平衡。

Abstract

Continual image segmentation suffers from catastrophic forgetting of previously learned classes， insufficient representation of newly introduced classes， and dynamic background semantic shifts in continual image segmentation.To address these issues， this paper proposes PAIS （Prototype-Aligned Incremental Segmentation）， a prototype-aligned incremental segmentation method for continual image segmentation. From the perspective of object-level representation stability， PAIS jointly models the initialization， evolution， and historical semantic compensation of decoder object queries during continual learning. Specifically， prototype-aware initialization（PAI） selects semantically salient positions from the current feature map to initialize object queries， thereby improving the modeling capability for new classes. Temporal consistency learning（TCL） constrains the consistency of key semantic positions and their response distributions across adjacent learning stages， which alleviates objectness degradation caused by feature drift. In addition， category-aware memory（CAM） maintains compact class-level memory representations to enhance old-class retention without relying on large-scale image replay. Experiments on continual panoptic segmentation and continual semantic segmentation on the ADE20K dataset demonstrate that the proposed method consistently outperforms representative methods such as ECLIPSE， BalConpas， and CoMFormer under multiple task settings， data splits， and input sequences. Under the setting covering 150 classes， the proposed method achieves a clear improvement in PQ while reducing storage requirements by approximately 10 times. These results show that PAIS provides a favorable balance among new-class adaptation， old-class retention， and memory efficiency.

关键词

Keywords

references

CSURKA G ， VOLPI R ， CHIDLOVSKII B ， et al . Semantic image segmentation： two decades of research ［J］. Foundations and Trends in Computer Graphics and Vision ， 2022 ， 14 （ 1/2 ）： 1 - 162 . doi: 10.1561/0600000095 http://dx.doi.org/10.1561/0600000095

PARISI G I ， KEMKER R ， PART J L ， et al . Continual lifelong learning with neural networks： a review ［J］. Neural Networks ， 2019 ， 113 ： 54 - 71 . doi: 10.1016/j.neunet.2019.01.012 http://dx.doi.org/10.1016/j.neunet.2019.01.012

KIRILLOV A ， MINTUN E ， RAVI N ， et al . Segment anything ［C］// Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision . Paris ： IEEE ， 2023 ： 3992 - 4003 . doi: 10.1109/iccv51070.2023.00371 http://dx.doi.org/10.1109/iccv51070.2023.00371

CHAUDHRY A ， DOKANIA P K ， AJANTHAN T ， et al . Riemannian walk for incremental learning： understanding forgetting and intransigence ［C］// Proceedings of the 15th European Conference on Computer Vision . Munich ： Springer ， 2018 ： 556 - 572 . doi: 10.1007/978-3-030-01252-6_33 http://dx.doi.org/10.1007/978-3-030-01252-6_33

DOUILLARD A ， CORD M ， OLLION C ， et al . PODNet： pooled outputs dis tillation for small-tasks incremental learning ［C］. 16th European Conference on Computer Vision . Glasgow ： Springer ， 2020 ： 86 - 102 . doi: 10.1007/978-3-030-58565-5_6 http://dx.doi.org/10.1007/978-3-030-58565-5_6

OSTAPENKO O ， PUSCAS M ， KLEIN T ， et al . Learning to remember： a synaptic plasticity driven framework for continual learning ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2019 ： 11313 - 11321 . doi: 10.1109/cvpr.2019.01158 http://dx.doi.org/10.1109/cvpr.2019.01158

DOUILLARD A ， RAMÉ A ， COUAIRON G ， et al . DyTox： transformers for continual learning with dynamic token expansion ［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans ： IEEE ， 2022 ： 9275 - 9285 . doi: 10.1109/cvpr52688.2022.00907 http://dx.doi.org/10.1109/cvpr52688.2022.00907

HOU S H ， PAN X Y ， LOY C C ， et al . Learning a unified classifier incrementally via rebalancing ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2019 ： 831 - 839 . doi: 10.1109/cvpr.2019.00092 http://dx.doi.org/10.1109/cvpr.2019.00092

SHIN H ， LEE J K ， KIM J ， et al . Continual learning with deep generative replay ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems . Long Beach ： Curran Associates Inc. ， 2017 ： 2994 - 3003 .

唐璐，万良，王婷婷，等 . DECANet：基于改进DeepLabv3+的图像语义分割方法［J］. 激光与光电子学进展， 2023 ， 60 （ 4 ）： 0410002 . doi: 10.3788/LOP212704 http://dx.doi.org/10.3788/LOP212704

TANG L ， WAN L ， WANG T T ， et al . DECANet： image semantic segmentation method based on improved DeepLabv3+ ［J］. Laser & Optoelectronics Progress ， 2023 ， 60 （ 4 ）： 0410002 . （in Chinese） . doi: 10.3788/LOP212704 http://dx.doi.org/10.3788/LOP212704

刘腊梅，宗佳旭，肖振久，等 . 流形正则化的交叉一致性语义分割算法［J］. 中国图象图形学报， 2022 ， 27 （ 12 ）： 3542 - 3552 . doi: 10.11834/jig.210571 http://dx.doi.org/10.11834/jig.210571

LIU L M ， ZONG J X ， XIAO Z J ， et al . Cross-consistent semantic segmentation algorithm based on manifold regularization ［J］. Journal of Image and Graphics ， 2022 ， 27 （ 12 ）： 3542 - 3552 . （in Chinese） . doi: 10.11834/jig.210571 http://dx.doi.org/10.11834/jig.210571

杨静，何瑶，李斌，等 . 基于门控机制与重放策略的持续语义分割方法［J］. 电子与信息学报， 2024 ， 46 （ 7 ）： 2908 - 2917 .

YANG J ， HE Y ， LI B ， et al . A continual semantic segmentation method based on gating mechanism and replay strategy ［J］. Journal of Electronics & Information Technology ， 2024 ， 46 （ 7 ）： 2908 - 2917 . （in Chinese）

BAEK D ， OH Y ， LEE S ， et al . Decomposed knowledge distillation for class-incremental semantic segmentation ［C］// Proceedings of the 36th International Conference on Neural Information Processing Systems . New Orleans ： Curran Associates Inc. ， 2022 ： 754 . doi: 10.52202/068431-0754 http://dx.doi.org/10.52202/068431-0754

CERMELLI F ， CORD M ， DOUILLARD A . ComFormer： Continual learning in semantic and panoptic segmentation ［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Vancouver ： IEEE ， 2023 ： 3010 - 3020 . doi: 10.1109/cvpr52729.2023.00294 http://dx.doi.org/10.1109/cvpr52729.2023.00294

GONG Y Z ， YU S Y ， WANG X Y ， et al . Continual segmentation with disentangled objectness learning and class recognition ［C］// Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle ： IEEE ， 2024 ： 3848 - 3857 . doi: 10.1109/cvpr52733.2024.00369 http://dx.doi.org/10.1109/cvpr52733.2024.00369

KIM B ， YU J ， HWANG S J . ECLIPSE： efficient continual learning in panoptic segmentation with visual prompt tuning ［C］// Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Seattle ： IEEE ， 2024 ： 3346 - 3356 . doi: 10.1109/CVPR52733.2024.00322 http://dx.doi.org/10.1109/CVPR52733.2024.00322

JIA M L ， TANG L M ， CHEN B C ， et al . Visual prompt tuning ［C］. 17th European Conference on Computer Vision . Tel Aviv ： Springer ， 2022 ： 709 - 727 . doi: 10.1007/978-3-031-19827-4_41 http://dx.doi.org/10.1007/978-3-031-19827-4_41

CHEN J P ， CONG R M ， LUO Y X ， et al . Strike a balance in continual panoptic segmentation ［C］. 18th European Conference on Computer Vision . Milan ： Springer ， 2024 ： 126 - 142 . doi: 10.1007/978-3-031-72940-9_8 http://dx.doi.org/10.1007/978-3-031-72940-9_8

张龙 . 基于Transformer的多目标跟踪算法研究［D］. 南宁：广西大学， 2025 . doi: 10.53964/jmpp.2024003 http://dx.doi.org/10.53964/jmpp.2024003

ZHANG L . Research on multi-object tracking algorithm based on Transformer ［D］. Nanning ： Guangxi University ， 2025 . （in Chinese） . doi: 10.53964/jmpp.2024003 http://dx.doi.org/10.53964/jmpp.2024003

YU Q H ， HE J ， DENG X Q ， et al . Convolutions die hard： open-vocabulary segmentation with single frozen convolutional CLIP ［C］// Proceedings of the 37th International Conference on Neural Information Processing Systems . New Orleans ： Curran Associates Inc. ， 2023 ： 1399 . doi: 10.52202/075280-1399 http://dx.doi.org/10.52202/075280-1399

XU M D ， ZHANG Z ， WEI F Y ， et al . Side adapter network for open-vocabulary semantic segmentation ［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Vancouver ： IEEE ， 2023 ： 2945 - 2954 . doi: 10.1109/cvpr52729.2023.00288 http://dx.doi.org/10.1109/cvpr52729.2023.00288

王伏增，汪西原，宋佳乾 . 基于形态学滤波的标记分水岭脑肿瘤图像分割［J］. 宁夏大学学报（自然科学版）， 2017 ， 38 （ 1 ）： 27 - 32 . doi: 10.3969/j.issn.0253-2328.2017.01.007 http://dx.doi.org/10.3969/j.issn.0253-2328.2017.01.007

WANG F Z ， WANG X Y ， SONG J Q . Brain tumor image segmentation using marker-controlled watershed based on morphological filtering ［J］. Journal of Ningxia University （Natural Science Edition）， 2017 ， 38 （ 1 ）： 27 - 32 . （in Chinese） . doi: 10.3969/j.issn.0253-2328.2017.01.007 http://dx.doi.org/10.3969/j.issn.0253-2328.2017.01.007

CARION N ， MASSA F ， SYNNAEVE G ， et al . End-to-end object detection with transformers ［C］. 16th European Conference on Computer Vision . Glasgow ： Springer ， 2020 ： 213 - 229 . doi: 10.1007/978-3-030-58452-8_13 http://dx.doi.org/10.1007/978-3-030-58452-8_13

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

CERMELLI F ， MANCINI M ， BULÒ S R ， et al . Modeling the background for incremental learning in semantic segmentation ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle ： IEEE ， 2020 ： 9230 - 9239 . doi: 10.1109/cvpr42600.2020.00925 http://dx.doi.org/10.1109/cvpr42600.2020.00925

DOUILLARD A ， CHEN Y F ， DAPOGNY A ， et al . PLOP： learning without forgetting for continual semantic segmentation ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville ： IEEE ， 2021 ： 4039 - 4049 . doi: 10.1109/cvpr46437.2021.00403 http://dx.doi.org/10.1109/cvpr46437.2021.00403

CHA S M ， KIM B ， YOO Y ， et al . SSUL： semantic segmentation with unknown label for exemplar-based class-incremental learning ［C］// Proceedings of the 35th International Conference on Neural Information Processing Systems . Curran Associates Inc. ， 2021 ： 835 .

XIAO J W ， ZHANG C B ， FENG J K ， et al . Endpoints weight fusion for class incremental semantic segmentation ［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Vancouver ： IEEE ， 2023 ： 7204 - 7213 . doi: 10.1109/cvpr52729.2023.00696 http://dx.doi.org/10.1109/cvpr52729.2023.00696

刘玉，郭迎春，朱叶，等 . 基于双交叉注意力Transformer网络的小样本图像语义分割［J］. 液晶与显示， 2024 ， 39 （ 11 ）： 1494 - 1505 . doi: 10.37188/cjlcd.2024-0151 http://dx.doi.org/10.37188/cjlcd.2024-0151

LIU Y ， GUO Y C ， ZHU Y ， et al . Dual cross-attention Transformer network for few-shot image semantic segmentation ［J］. Chinese Journal of Liquid Crystals and Displays ， 2024 ， 39 （ 11 ）： 1494 - 1505 . （in Chinese） . doi: 10.37188/cjlcd.2024-0151 http://dx.doi.org/10.37188/cjlcd.2024-0151

刘玉，于明，朱叶 . 基于双重聚合和自合并网络的小样本图像语义分割［J］. 液晶与显示， 2024 ， 39 （ 10 ）： 1421 - 1430 . doi: 10.37188/cjlcd.2024-0151 http://dx.doi.org/10.37188/cjlcd.2024-0151

LIU Y ， YU M ， ZHU Y . Bi-aggregation and self-merging network for few-shot image semantic segmentation ［J］. Chinese Journal of Liquid Crystals and Displays ， 2024 ， 39 （ 10 ）： 1421 - 1430 . （in Chinese） . doi: 10.37188/cjlcd.2024-0151 http://dx.doi.org/10.37188/cjlcd.2024-0151

李更生，刘国军 . 融合统计范数度量的局部区域图像分割［J］. 光学精密工程， 2024 ， 32 （ 16 ）： 2550 - 2563 . doi: 10.37188/OPE.20243216.2550 http://dx.doi.org/10.37188/OPE.20243216.2550

LI G S ， LIU G J . Local region image segmentation by fusion of statistical norm metrics ［J］. Optics and Precision Engineering ， 2024 ， 32 （ 16 ）： 2550 - 2563 . （in Chinese） . doi: 10.37188/OPE.20243216.2550 http://dx.doi.org/10.37188/OPE.20243216.2550

Views

104

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Lightweight detection of foreign objects on road surfaces in challenging driving environments

Classification of pulmonary tuberculosis images based on multi-view attention fusion

Thickness characterization of inkjet-printed liquid crystal alignment films using TOF-SIMS depth profiling

PCB defect detection based on ZYNQ and YOLO26n

Quantitative relationship between flexoelectric coefficient difference and flicker in low-power fringe-field switching liquid crystal displays

Related Author

No data

Related Institution

No data

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰