基于特征动态平衡与增强的通用分割算法

邓万宇; 刘洋伍

doi:10.3724/CJLCD.2026-0115

您当前的位置：

首页 >

文章列表页 >

基于特征动态平衡与增强的通用分割算法

图像处理 | 更新时间：2026-09-16

- 基于特征动态平衡与增强的通用分割算法
- Universal segmentation algorithm based on dynamic feature balancing and enhancement
- 液晶与显示 2026年41卷第8期页码：1187-1199
- 作者机构：
  
  西安邮电大学计算机学院，陕西西安 710121
- 作者简介：
  
  邓万宇，男，博士，教授，2010年于西安交通大学获得博士学位，主要从事计算机视觉及图像处理方面的研究。E-mail：dengwanyu@126.com
  刘洋伍，男，硕士研究生，2023年于重庆三峡学院获得学士学位，主要从事图像处理算法方面的研究。E-mail：liuyangwu2023@163.com
- 基金信息：
  
  陕西省科学家与工程师创新团队(2023KXJ-091);秦创原总窗口“四链融合”计划重点项目(2025PT-ZCK-67)
- DOI：10.3724/CJLCD.2026-0115
  中图分类号： TP391.4
- CSTR：32172.14.CJLCD.2026-0115
- 收稿：2026-06-27，
  
  修回：2026-07-18，
  
  纸质出版：2026-08-05
- 稿件说明：
移动端阅览
邓万宇, 刘洋伍. 基于特征动态平衡与增强的通用分割算法[J]. 液晶与显示, 2026,41(8):1187-1199.

DENG Wanyu, LIU Yangwu. Universal segmentation algorithm based on dynamic feature balancing and enhancement[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(8): 1187-1199.
邓万宇, 刘洋伍. 基于特征动态平衡与增强的通用分割算法[J]. 液晶与显示, 2026,41(8):1187-1199. DOI： 10.3724/CJLCD.2026-0115. CSTR： 32172.14.CJLCD.2026-0115.

DENG Wanyu, LIU Yangwu. Universal segmentation algorithm based on dynamic feature balancing and enhancement[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(8): 1187-1199. DOI： 10.3724/CJLCD.2026-0115. CSTR： 32172.14.CJLCD.2026-0115.

摘要

显著目标检测与伪装目标检测虽然视觉特征对立，但均对边界分割精度提出了极高要求。然而，现有方法在跨任务泛化时常因特征偏好单一而导致性能瓶颈。为此，本文提出了一种通用分割模型SAM2-UFFM。该模型以SAM2的Hiera骨干网络为编码器，通过冻结预训练参数并引入轻量级适配器，实现了参数高效微调，完整保留了强大的特征表达能力；摒弃了传统U-Net的架构，设计了AttUNet解码器，通过全尺度跳跃连接实现全尺度信息的高效融合，有效解决了信息流失问题；提出了特征平衡注意力模块，并结合特征互补精修模块，动态平衡全局语义与局部细节，随后针对性强化显著目标的全局感知与伪装目标的边界精细分割，同时辅以深度监督策略防止过分割。实验结果表明，在3个公开数据集上，该模型的综合表现优于现有先进方法。其中在COD和SOD数据集上的结构性度量相较于现有最佳模型分别提升1.02%和1.83%，平均绝对误差降低至0.035和0.018。此外，在钢材表面缺陷分割任务中IoU提升2.77%，有效验证了模型的跨领域泛化能力。

Abstract

Although salient object detection and camouflaged object detection exhibit opposite visual characteristics， both tasks impose stringent requirements on boundary segmentation accuracy. However， existing methods often suffer from limited cross-task generalization due to their reliance on task-specific feature preferences. To address this issue， we propose a universal segmentation model， SAM2-UFFM. The proposed framework adopts the Hiera backbone of SAM2 as the encoder， where the pretrained parameters are frozen and lightweight adapters are incorporated for parameter-efficient fine-tuning， thereby fully preserving the powerful feature representation capability of the foundation model. Furthermore， departing from the conventional U-Net architecture， we design an AttUNet decoder that employs full-scale skip connections to facilitate efficient multi-scale feature fusion and effectively alleviate information loss during feature propagation. In addition， a Feature Balance Attention module is introduced and integrated with a Feature Complementary Refinement module to dynamically balance global semantic information and local structural details. This design simultaneously enhances global perception for salient objects and promotes precise boundary delineation for camouflaged objects. Meanwhile， a deep supervision strategy is adopted to suppress over-segmentation and improve optimization stability. Experimental results on three public benchmark datasets demonstrate that the proposed method consistently outperforms state-of-the-art approaches. Specifically， on the COD and SOD benchmarks， the structural measure is improved by 1.02% and 1.83%， respectively， compared with the best existing methods， while the mean absolute error（MAE） is reduced to 0.035 and 0.018. Furthermore， on the steel surface defect segmentation task， the proposed model achieves a 2.77% improvement in IoU， further validating its superior cross-domain generalization capability.

关键词

Keywords

references

FAN D P ， JI G P ， SUN G L ， et al . Camouflaged object detection ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Seattle ： IEEE ， 2020 ： 2774 - 2784 . doi: 10.1109/cvpr42600.2020.00285 http://dx.doi.org/10.1109/cvpr42600.2020.00285

MEI H Y ， JI G P ， WEI Z Q ， et al . Camouflaged object segmentation with distraction mining ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Nashville ： IEEE ， 2021 ： 8768 - 8777 . doi: 10.1109/cvpr46437.2021.00866 http://dx.doi.org/10.1109/cvpr46437.2021.00866

LIU J W ， ZHANG J ， BARNES N . Modeling aleatoric uncertainty for camouflaged object detection ［C］// Proceedings of the 2022 IEEE/CVF Winter Conference on Applications of Computer Vision （WACV） . Waikoloa ： IEEE ， 2022 ： 2613 - 2622 . doi: 10.1109/wacv51458.2022.00267 http://dx.doi.org/10.1109/wacv51458.2022.00267

PANG Y W ， ZHAO X Q ， XIANG T Z ， et al . Zoom in and out： a mixed-scale triplet network for camouflaged object detection ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . New Orleans ： IEEE ， 2022 ： 2150 - 2160 .

HE C M ， LI K ， ZHANG Y C ， et al . Camouflaged object detection with feature decomposition and edge reconstruction ［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Vancouver ： IEEE ， 2023 ： 22046 - 22055 . doi: 10.1109/cvpr52729.2023.02111 http://dx.doi.org/10.1109/cvpr52729.2023.02111

李明岩，吴川，朱明 . 基于边缘增强和特征融合的伪装目标分割［J］. 液晶与显示， 2024 ， 39 （ 1 ）： 48 - 58 ． doi: 10.37188/cjlcd.2023-0064 http://dx.doi.org/10.37188/cjlcd.2023-0064

LI M Y ， WU C ， ZHU M . Camouflaged object segmentation based on edge enhancement and feature fusion ［J］. Chinese Journal of Liquid Crystals and Displays ， 2024 ， 39 （ 1 ）： 48 - 58 . （in Chinese） . doi: 10.37188/cjlcd.2023-0064 http://dx.doi.org/10.37188/cjlcd.2023-0064

QIN X B ， ZHANG Z C ， HUANG C Y ， et al . U 2 -Net： going deeper with nested U-structure for salient object detection ［J］. Pattern Recognition ， 2020 ， 106 ： 107404 . doi: 10.1016/j.patcog.2020.107404 http://dx.doi.org/10.1016/j.patcog.2020.107404

WU Y H ， LIU Y ， ZHANG L ， et al . EDN： salient object detection via extremely-downsampled network ［J］. IEEE Transactions on Image Processing ， 2022 ， 31 ： 3125 - 3136 . doi: 10.1109/tip.2022.3164550 http://dx.doi.org/10.1109/tip.2022.3164550

GAO S X ， ZHANG P P ， YAN T Y ， et al . Multi-scale and detail-enhanced segment anything model for salient object detection ［C］// Proceedings of the 32nd ACM International Conference on Multimedia . Melbourne ： ACM ， 2024 ： 9894 - 9903 . doi: 10.1145/3664647.3680650 http://dx.doi.org/10.1145/3664647.3680650

KIRILLOV A ， MINTUN E ， RAVI N ， et al . Segment anything ［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision （ICCV） . Paris ： IEEE ， 2023 ： 3992 - 4003 . doi: 10.1109/iccv51070.2023.00371 http://dx.doi.org/10.1109/iccv51070.2023.00371

YUAN Y ， GAO P ， DAI Q ， et al . Uncertainty-guided refinement for fine-grained salient object detection ［J］. IEEE Transactions on Image Processing ， 2025 ， 34 ： 2301 - 2314 . doi: 10.1109/tip.2025.3557562 http://dx.doi.org/10.1109/tip.2025.3557562

XIONG X Y ， WU Z H ， TAN S Y ， et al . SAM2-UNet： segment anything 2 makes strong encoder for natural and medical image segmentation ［J］. Visual Intelligence ， 2026 ， 4 （ 1 ）： 2 . doi: 10.1007/s44267-025-00106-w http://dx.doi.org/10.1007/s44267-025-00106-w

RAVI N ， GABEUR V ， HU Y T ， et al . SAM 2： segment anything in images and videos ［C］// Proceedings of the Thirteenth International Conference on Learning Representations . Singapore ： OpenReview.net ， 2025 .

邬开俊，张治瑞，汪滢，等 . 全局感知与多尺度特征融合的城市道路语义分割［J］. 光学精密工程， 2025 ， 33 （ 14 ）： 2262 - 2277 ． doi: 10.37188/ope.20253314.2262 http://dx.doi.org/10.37188/ope.20253314.2262

WU K J ， ZHANG Z R ， WANG Y ， et al . Urban road semantic segmentation with global awareness and multi-scale feature fusion ［J］. Optics and Precision Engineering ， 2025 ， 33 （ 14 ）： 2262 - 2277 . （in Chinese） . doi: 10.37188/ope.20253314.2262 http://dx.doi.org/10.37188/ope.20253314.2262

赵林，马思奇，方一鸣，等 . 基于多尺度特征融合与分块注意力的齿轮表面缺陷分割算法［J］. 光学精密工程， 2025 ， 33 （ 22 ）： 3536 - 3548 ．

ZHAO L ， MA S Q ， FANG Y M ， et al . Gear surface defect segmentation algorithm based on multi-scale feature fusion and block-wise attention ［J］. Optics and Precision Engineering ， 2025 ， 33 （ 22 ）： 3536 - 3548 . （in Chinese）

刘玉，于明，朱叶 . 基于双重聚合和自合并网络的小样本图像语义分割［J］. 液晶与显示， 2024 ， 39 （ 10 ）： 1421 - 1430 ． doi: 10.37188/cjlcd.2024-0151 http://dx.doi.org/10.37188/cjlcd.2024-0151

LIU Y ， YU M ， ZHU Y . Bi-aggregation and self-merging network for few-shot image semantic segmentation ［J］. Chinese Journal of Liquid Crystals and Displays ， 2024 ， 39 （ 10 ）： 1421 - 1430 . （in Chinese） . doi: 10.37188/cjlcd.2024-0151 http://dx.doi.org/10.37188/cjlcd.2024-0151

RYALI C ， HU Y T ， BOLYA D ， et al . Hiera： a hierarchical vision Transformer without the bells-and-whistles ［C］// Proceedings of the International Conference on Machine Learning . Honolulu ： PMLR ， 2023 ， 202 ： 29441 - 29454 .

HUANG H M ， LIN L F ， TONG R F ， et al . UNet 3+： a full-scale connected UNet for medical image segmentation ［C］. ICASSP 2020—2020 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP） . Barcelona ： IEEE ， 2020 ： 1055 - 1059 . doi: 10.1109/icassp40776.2020.9053405 http://dx.doi.org/10.1109/icassp40776.2020.9053405

WANG L J ， LU H C ， WANG Y F ， et al . Learning to detect salient objects with image-level supervision ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Honolulu ： IEEE ， 2017 ： 3796 - 3805 . doi: 10.1109/cvpr.2017.404 http://dx.doi.org/10.1109/cvpr.2017.404

HE Y ， SONG K C ， MENG Q G ， et al . An end-to-end steel surface defect detection approach via fusing multiple hierarchical features ［J］. IEEE Transactions on Instrumentation and Measurement ， 2020 ， 69 （ 4 ）： 1493 - 1504 . d oi: 10.1109/tim.2019.2915404 http://dx.doi.org/10.1109/tim.2019.2915404

RONNEBERGER O ， FISCHER P ， BROX T . U-Net： convolutional networks for biomedical image segmentation ［C］// Proceedings of 18th International Conference on Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015 . Munich ： Springer ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

FU J ， LIU J ， TIAN H J ， et al . Dual attention network for scene segmentation ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach ： IEEE ， 2019 ： 3141 - 3149 . doi: 10.1109/cvpr.2019.00326 http://dx.doi.org/10.1109/cvpr.2019.00326

YANG C ， ZHANG L H ， LU H C ， et al . Saliency detection via graph-based manifold ranking ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Portland ： IEEE ， 2013 ： 3166 - 3173 . doi: 10.1109/cvpr.2013.407 http://dx.doi.org/10.1109/cvpr.2013.407

LONG J ， SHELHAMER E ， DARRELL T . Fully convolutional networks for semantic segmentation ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Boston ： IEEE ， 2015 ： 3431 - 3440 . doi: 10.1109/cvpr.2015.7298965 http://dx.doi.org/10.1109/cvpr.2015.7298965

FAN D P ， CHENG M M ， LIU Y ， et al . Structure-measure： a new way to evaluate foreground maps ［C］// Proceedings of the IEEE International Conference on Computer Vision （ICCV） . Venice ： IEEE ， 2017 ： 4558 - 4567 . doi: 10.1109/iccv.2017.487 http://dx.doi.org/10.1109/iccv.2017.487

MARGOLIN R ， ZELNIK-MANOR L ， TAL A . How to evaluate foreground maps ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Columbus ： IEEE ， 2014 ： 248 - 255 . doi: 10.1109/cvpr.2014.39 http://dx.doi.org/10.1109/cvpr.2014.39

PERAZZI F ， KRÄHENBÜHL P ， PRITCH Y ， et al . Saliency filters： contrast based filtering for salient region detection ［C］. 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence ： IEEE ， 2012 ： 733 - 740 . doi: 10.1109/cvpr.2012.6247743 http://dx.doi.org/10.1109/cvpr.2012.6247743

范登平，季葛鹏，秦雪彬，等 . 认知规律启发的物体分割评价标准及损失函数［J］. 中国科学：信息科学， 2021 ， 51 （ 9 ）： 1475 - 1489 ． doi: 10.1360/ssi-2020-0370 http://dx.doi.org/10.1360/ssi-2020-0370

FAN D P ， JI G P ， QIN X B ， et al . Cognitive vision inspired object segmentation metric and loss function ［J］. Scientia Sinica Informationis ， 2021 ， 51 （ 9 ）： 1475 - 1489 . （in Chinese） . doi: 10.1360/ssi-2020-0370 http://dx.doi.org/10.1360/ssi-2020-0370

CHEN L C ， ZHU Y K ， PAPANDREOU G ， et al . Encoder-decoder with Atrous separable convolution for semantic image segmentation ［C］// Proceedings of the 15th European Conference on Computer Vision-ECCV 2018 . Munich ： Springer ， 2018 ： 833 - 851 . doi: 10.1007/978-3-030-01234-2_49 http://dx.doi.org/10.1007/978-3-030-01234-2_49

ZHAO H S ， SHI J P ， QI X J ， et al . Pyramid scene parsing network ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Honolulu ： IEEE ， 2017 ： 6230 - 6239 . doi: 10.1109/cvpr.2017.660 http://dx.doi.org/10.1109/cvpr.2017.660

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于特征动态平衡与增强的通用分割算法

基于边缘增强和特征融合的伪装目标分割

基于小波与粗概率先验双分支的眼底微细血管分割网络

结合注意力与抗遮挡策略的无人机航拍目标跟踪

面向复杂道路场景的轻量化路面异物检测算法