Universal segmentation algorithm based on dynamic feature balancing and enhancement

DENG Wanyu; LIU Yangwu

doi:10.3724/CJLCD.2026-0115

您当前的位置：

首页 >

文章列表页 >

Universal segmentation algorithm based on dynamic feature balancing and enhancement

Image Processing | 更新时间：2026-09-16

- Universal segmentation algorithm based on dynamic feature balancing and enhancement
- Chinese Journal of Liquid Crystals and Displays Vol. 41, Issue 8, Pages: 1187-1199(2026)
- 作者机构：
  
  西安邮电大学计算机学院，陕西西安 710121
- 作者简介：
- 基金信息：
  
  Innovation Team of Scientists and Engineers in Shaanxi Province(2023KXJ-091);Key Project of the Qinchuangyuan General Window “Four-Chain Integration”Program(2025PT-ZCK-67)
- DOI：10.3724/CJLCD.2026-0115
  CLC： TP391.4
- CSTR：32172.14.CJLCD.2026-0115
- Received：27 June 2026，
  
  Revised：2026-07-18，
  
  Published：05 August 2026
- 稿件说明：
移动端阅览
DENG Wanyu, LIU Yangwu. Universal segmentation algorithm based on dynamic feature balancing and enhancement[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(8): 1187-1199.
DOI：

DENG Wanyu, LIU Yangwu. Universal segmentation algorithm based on dynamic feature balancing and enhancement[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(8): 1187-1199. DOI： 10.3724/CJLCD.2026-0115. CSTR： 32172.14.CJLCD.2026-0115.

摘要

显著目标检测与伪装目标检测虽然视觉特征对立，但均对边界分割精度提出了极高要求。然而，现有方法在跨任务泛化时常因特征偏好单一而导致性能瓶颈。为此，本文提出了一种通用分割模型SAM2-UFFM。该模型以SAM2的Hiera骨干网络为编码器，通过冻结预训练参数并引入轻量级适配器，实现了参数高效微调，完整保留了强大的特征表达能力；摒弃了传统U-Net的架构，设计了AttUNet解码器，通过全尺度跳跃连接实现全尺度信息的高效融合，有效解决了信息流失问题；提出了特征平衡注意力模块，并结合特征互补精修模块，动态平衡全局语义与局部细节，随后针对性强化显著目标的全局感知与伪装目标的边界精细分割，同时辅以深度监督策略防止过分割。实验结果表明，在3个公开数据集上，该模型的综合表现优于现有先进方法。其中在COD和SOD数据集上的结构性度量相较于现有最佳模型分别提升1.02%和1.83%，平均绝对误差降低至0.035和0.018。此外，在钢材表面缺陷分割任务中IoU提升2.77%，有效验证了模型的跨领域泛化能力。

Abstract

Although salient object detection and camouflaged object detection exhibit opposite visual characteristics， both tasks impose stringent requirements on boundary segmentation accuracy. However， existing methods often suffer from limited cross-task generalization due to their reliance on task-specific feature preferences. To address this issue， we propose a universal segmentation model， SAM2-UFFM. The proposed framework adopts the Hiera backbone of SAM2 as the encoder， where the pretrained parameters are frozen and lightweight adapters are incorporated for parameter-efficient fine-tuning， thereby fully preserving the powerful feature representation capability of the foundation model. Furthermore， departing from the conventional U-Net architecture， we design an AttUNet decoder that employs full-scale skip connections to facilitate efficient multi-scale feature fusion and effectively alleviate information loss during feature propagation. In addition， a Feature Balance Attention module is introduced and integrated with a Feature Complementary Refinement module to dynamically balance global semantic information and local structural details. This design simultaneously enhances global perception for salient objects and promotes precise boundary delineation for camouflaged objects. Meanwhile， a deep supervision strategy is adopted to suppress over-segmentation and improve optimization stability. Experimental results on three public benchmark datasets demonstrate that the proposed method consistently outperforms state-of-the-art approaches. Specifically， on the COD and SOD benchmarks， the structural measure is improved by 1.02% and 1.83%， respectively， compared with the best existing methods， while the mean absolute error（MAE） is reduced to 0.035 and 0.018. Furthermore， on the steel surface defect segmentation task， the proposed model achieves a 2.77% improvement in IoU， further validating its superior cross-domain generalization capability.

关键词

Keywords

references

FAN D P ， JI G P ， SUN G L ， et al . Camouflaged object detection ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Seattle ： IEEE ， 2020 ： 2774 - 2784 . doi: 10.1109/cvpr42600.2020.00285 http://dx.doi.org/10.1109/cvpr42600.2020.00285

MEI H Y ， JI G P ， WEI Z Q ， et al . Camouflaged object segmentation with distraction mining ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Nashville ： IEEE ， 2021 ： 8768 - 8777 . doi: 10.1109/cvpr46437.2021.00866 http://dx.doi.org/10.1109/cvpr46437.2021.00866

LIU J W ， ZHANG J ， BARNES N . Modeling aleatoric uncertainty for camouflaged object detection ［C］// Proceedings of the 2022 IEEE/CVF Winter Conference on Applications of Computer Vision （WACV） . Waikoloa ： IEEE ， 2022 ： 2613 - 2622 . doi: 10.1109/wacv51458.2022.00267 http://dx.doi.org/10.1109/wacv51458.2022.00267

PANG Y W ， ZHAO X Q ， XIANG T Z ， et al . Zoom in and out： a mixed-scale triplet network for camouflaged object detection ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . New Orleans ： IEEE ， 2022 ： 2150 - 2160 .

HE C M ， LI K ， ZHANG Y C ， et al . Camouflaged object detection with feature decomposition and edge reconstruction ［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Vancouver ： IEEE ， 2023 ： 22046 - 22055 . doi: 10.1109/cvpr52729.2023.02111 http://dx.doi.org/10.1109/cvpr52729.2023.02111

李明岩，吴川，朱明 . 基于边缘增强和特征融合的伪装目标分割［J］. 液晶与显示， 2024 ， 39 （ 1 ）： 48 - 58 ． doi: 10.37188/cjlcd.2023-0064 http://dx.doi.org/10.37188/cjlcd.2023-0064

LI M Y ， WU C ， ZHU M . Camouflaged object segmentation based on edge enhancement and feature fusion ［J］. Chinese Journal of Liquid Crystals and Displays ， 2024 ， 39 （ 1 ）： 48 - 58 . （in Chinese） . doi: 10.37188/cjlcd.2023-0064 http://dx.doi.org/10.37188/cjlcd.2023-0064

QIN X B ， ZHANG Z C ， HUANG C Y ， et al . U 2 -Net： going deeper with nested U-structure for salient object detection ［J］. Pattern Recognition ， 2020 ， 106 ： 107404 . doi: 10.1016/j.patcog.2020.107404 http://dx.doi.org/10.1016/j.patcog.2020.107404

WU Y H ， LIU Y ， ZHANG L ， et al . EDN： salient object detection via extremely-downsampled network ［J］. IEEE Transactions on Image Processing ， 2022 ， 31 ： 3125 - 3136 . doi: 10.1109/tip.2022.3164550 http://dx.doi.org/10.1109/tip.2022.3164550

GAO S X ， ZHANG P P ， YAN T Y ， et al . Multi-scale and detail-enhanced segment anything model for salient object detection ［C］// Proceedings of the 32nd ACM International Conference on Multimedia . Melbourne ： ACM ， 2024 ： 9894 - 9903 . doi: 10.1145/3664647.3680650 http://dx.doi.org/10.1145/3664647.3680650

KIRILLOV A ， MINTUN E ， RAVI N ， et al . Segment anything ［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision （ICCV） . Paris ： IEEE ， 2023 ： 3992 - 4003 . doi: 10.1109/iccv51070.2023.00371 http://dx.doi.org/10.1109/iccv51070.2023.00371

YUAN Y ， GAO P ， DAI Q ， et al . Uncertainty-guided refinement for fine-grained salient object detection ［J］. IEEE Transactions on Image Processing ， 2025 ， 34 ： 2301 - 2314 . doi: 10.1109/tip.2025.3557562 http://dx.doi.org/10.1109/tip.2025.3557562

XIONG X Y ， WU Z H ， TAN S Y ， et al . SAM2-UNet： segment anything 2 makes strong encoder for natural and medical image segmentation ［J］. Visual Intelligence ， 2026 ， 4 （ 1 ）： 2 . doi: 10.1007/s44267-025-00106-w http://dx.doi.org/10.1007/s44267-025-00106-w

RAVI N ， GABEUR V ， HU Y T ， et al . SAM 2： segment anything in images and videos ［C］// Proceedings of the Thirteenth International Conference on Learning Representations . Singapore ： OpenReview.net ， 2025 .

邬开俊，张治瑞，汪滢，等 . 全局感知与多尺度特征融合的城市道路语义分割［J］. 光学精密工程， 2025 ， 33 （ 14 ）： 2262 - 2277 ． doi: 10.37188/ope.20253314.2262 http://dx.doi.org/10.37188/ope.20253314.2262

WU K J ， ZHANG Z R ， WANG Y ， et al . Urban road semantic segmentation with global awareness and multi-scale feature fusion ［J］. Optics and Precision Engineering ， 2025 ， 33 （ 14 ）： 2262 - 2277 . （in Chinese） . doi: 10.37188/ope.20253314.2262 http://dx.doi.org/10.37188/ope.20253314.2262

赵林，马思奇，方一鸣，等 . 基于多尺度特征融合与分块注意力的齿轮表面缺陷分割算法［J］. 光学精密工程， 2025 ， 33 （ 22 ）： 3536 - 3548 ．

ZHAO L ， MA S Q ， FANG Y M ， et al . Gear surface defect segmentation algorithm based on multi-scale feature fusion and block-wise attention ［J］. Optics and Precision Engineering ， 2025 ， 33 （ 22 ）： 3536 - 3548 . （in Chinese）

刘玉，于明，朱叶 . 基于双重聚合和自合并网络的小样本图像语义分割［J］. 液晶与显示， 2024 ， 39 （ 10 ）： 1421 - 1430 ． doi: 10.37188/cjlcd.2024-0151 http://dx.doi.org/10.37188/cjlcd.2024-0151

LIU Y ， YU M ， ZHU Y . Bi-aggregation and self-merging network for few-shot image semantic segmentation ［J］. Chinese Journal of Liquid Crystals and Displays ， 2024 ， 39 （ 10 ）： 1421 - 1430 . （in Chinese） . doi: 10.37188/cjlcd.2024-0151 http://dx.doi.org/10.37188/cjlcd.2024-0151

RYALI C ， HU Y T ， BOLYA D ， et al . Hiera： a hierarchical vision Transformer without the bells-and-whistles ［C］// Proceedings of the International Conference on Machine Learning . Honolulu ： PMLR ， 2023 ， 202 ： 29441 - 29454 .

HUANG H M ， LIN L F ， TONG R F ， et al . UNet 3+： a full-scale connected UNet for medical image segmentation ［C］. ICASSP 2020—2020 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP） . Barcelona ： IEEE ， 2020 ： 1055 - 1059 . doi: 10.1109/icassp40776.2020.9053405 http://dx.doi.org/10.1109/icassp40776.2020.9053405

WANG L J ， LU H C ， WANG Y F ， et al . Learning to detect salient objects with image-level supervision ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Honolulu ： IEEE ， 2017 ： 3796 - 3805 . doi: 10.1109/cvpr.2017.404 http://dx.doi.org/10.1109/cvpr.2017.404

HE Y ， SONG K C ， MENG Q G ， et al . An end-to-end steel surface defect detection approach via fusing multiple hierarchical features ［J］. IEEE Transactions on Instrumentation and Measurement ， 2020 ， 69 （ 4 ）： 1493 - 1504 . d oi: 10.1109/tim.2019.2915404 http://dx.doi.org/10.1109/tim.2019.2915404

RONNEBERGER O ， FISCHER P ， BROX T . U-Net： convolutional networks for biomedical image segmentation ［C］// Proceedings of 18th International Conference on Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015 . Munich ： Springer ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

FU J ， LIU J ， TIAN H J ， et al . Dual attention network for scene segmentation ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach ： IEEE ， 2019 ： 3141 - 3149 . doi: 10.1109/cvpr.2019.00326 http://dx.doi.org/10.1109/cvpr.2019.00326

YANG C ， ZHANG L H ， LU H C ， et al . Saliency detection via graph-based manifold ranking ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Portland ： IEEE ， 2013 ： 3166 - 3173 . doi: 10.1109/cvpr.2013.407 http://dx.doi.org/10.1109/cvpr.2013.407

LONG J ， SHELHAMER E ， DARRELL T . Fully convolutional networks for semantic segmentation ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Boston ： IEEE ， 2015 ： 3431 - 3440 . doi: 10.1109/cvpr.2015.7298965 http://dx.doi.org/10.1109/cvpr.2015.7298965

FAN D P ， CHENG M M ， LIU Y ， et al . Structure-measure： a new way to evaluate foreground maps ［C］// Proceedings of the IEEE International Conference on Computer Vision （ICCV） . Venice ： IEEE ， 2017 ： 4558 - 4567 . doi: 10.1109/iccv.2017.487 http://dx.doi.org/10.1109/iccv.2017.487

MARGOLIN R ， ZELNIK-MANOR L ， TAL A . How to evaluate foreground maps ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Columbus ： IEEE ， 2014 ： 248 - 255 . doi: 10.1109/cvpr.2014.39 http://dx.doi.org/10.1109/cvpr.2014.39

PERAZZI F ， KRÄHENBÜHL P ， PRITCH Y ， et al . Saliency filters： contrast based filtering for salient region detection ［C］. 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence ： IEEE ， 2012 ： 733 - 740 . doi: 10.1109/cvpr.2012.6247743 http://dx.doi.org/10.1109/cvpr.2012.6247743

范登平，季葛鹏，秦雪彬，等 . 认知规律启发的物体分割评价标准及损失函数［J］. 中国科学：信息科学， 2021 ， 51 （ 9 ）： 1475 - 1489 ． doi: 10.1360/ssi-2020-0370 http://dx.doi.org/10.1360/ssi-2020-0370

FAN D P ， JI G P ， QIN X B ， et al . Cognitive vision inspired object segmentation metric and loss function ［J］. Scientia Sinica Informationis ， 2021 ， 51 （ 9 ）： 1475 - 1489 . （in Chinese） . doi: 10.1360/ssi-2020-0370 http://dx.doi.org/10.1360/ssi-2020-0370

CHEN L C ， ZHU Y K ， PAPANDREOU G ， et al . Encoder-decoder with Atrous separable convolution for semantic image segmentation ［C］// Proceedings of the 15th European Conference on Computer Vision-ECCV 2018 . Munich ： Springer ， 2018 ： 833 - 851 . doi: 10.1007/978-3-030-01234-2_49 http://dx.doi.org/10.1007/978-3-030-01234-2_49

ZHAO H S ， SHI J P ， QI X J ， et al . Pyramid scene parsing network ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Honolulu ： IEEE ， 2017 ： 6230 - 6239 . doi: 10.1109/cvpr.2017.660 http://dx.doi.org/10.1109/cvpr.2017.660

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

A universal segmentation algorithm with dynamic feature balancing and enhancement

Camouflaged object segmentation based on edge enhancement and feature fusion

Retinal micro-vessel segmentation based on wavelet and coarse probability prior dual-branch network

UAV aerial target tracking with attention mechanism and anti-occlusion strategies

Driving response and two-stage waveform control of quantum-dot electrowetting display devices

Related Author

DENG Wanyu

LIU Yangwu

LI Mingyan

WU Chuan

ZHU Ming

Li Ming-yan

Zhu-Ming

CHANG Huitan

Related Institution

College of Computer， Xi'an University of Posts and Telecommunications

Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences

University of Chinese Academy of Sciences

College of Electronics and Electrical Engineering， Ningxia University

Shenyang Area Office of the Naval Equipment Department， People’s Liberation Army Navy

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰