基于目标轮廓的实例分割方法

孙劲光; 王雪

doi:10.37188/CJLCD.2021-0236

您当前的位置：

首页 >

文章列表页 >

基于目标轮廓的实例分割方法

图像处理 | 更新时间：2022-06-14

- 基于目标轮廓的实例分割方法
- Instance segmentation method based on target contour
- 液晶与显示 2022年37卷第4期页码：519-529
- 作者机构：
  
  辽宁工程技术大学电子与信息工程学院，辽宁葫芦岛 125105
- 作者简介：
  
  [ "孙劲光（1962—），女，辽宁阜新人，博士，教授， 2006年于辽宁工程技术大学获得博士学位，主要从事计算机图像处理、计算机图形学、知识工程方面的研究。E-mail：sunjinguang@lntu.edu.cn" ]
  [ "王雪（1996—），女，辽宁阜新人，硕士研究生，2019年于辽宁工程技术大学获得学士学位，主要从事计算机图像处理中图像分割，目标检测方面的研究。E-mail： 1301629037@qq.com" ]
- 基金信息：
  
  国家重点研发计划项目(2018YFB1403303)
- DOI：10.37188/CJLCD.2021-0236
  中图分类号： TP391.41
- 收稿日期：2021-09-09，
  
  修回日期：2021-11-02，
  
  纸质出版日期：2022-04-05
- 稿件说明：
移动端阅览
孙劲光, 王雪. 基于目标轮廓的实例分割方法[J]. 液晶与显示, 2022,37(4):519-529.

Jin-guang SUN, Xue WANG. Instance segmentation method based on target contour[J]. Chinese journal of liquid crystals and displays, 2022, 37(4): 519-529.
孙劲光, 王雪. 基于目标轮廓的实例分割方法[J]. 液晶与显示, 2022,37(4):519-529. DOI： 10.37188/CJLCD.2021-0236.

Jin-guang SUN, Xue WANG. Instance segmentation method based on target contour[J]. Chinese journal of liquid crystals and displays, 2022, 37(4): 519-529. DOI： 10.37188/CJLCD.2021-0236.

摘要

实例分割的目的是使用像素级实例掩码对单个对象进行分类和定位，是计算机视觉中一项具有挑战性的任务，目前存在分割速度慢、小物体分割精度低、分割边缘不平滑等问题。针对以上问题，提出了基于目标轮廓的实例分割方法，一方面，对物体轮廓上的结点进行特征提取，在不受检测框影响的同时避免了对目标物体内部像素点进行处理，以达到加快分割速度的效果；另一方面，对图像采取渐进式分割处理，多层次地提取物体轮廓上的特征，并配以多尺度融合的特征处理方法，更好地提取上下文语义信息，减少特征丢失。实验结果表明，本文算法在Cityscapes和KINS数据集中平均分割精度分别达到了32.4%AP和32.0%AP，较目前许多优秀工作的分割精度都有所提升，在物体分割边缘的平滑程度以及贴合程度上均有更佳的处理效果。实验证明，基于目标轮廓的实例分割网络在实例分割任务中有较好的分割能力。

Abstract

The purpose of instance segmentation is to use pixel-level instance mask to classify and locate a single object， which is a challenging task in computer vision. At present， there are some problems such as slow segmentation speed， low segmentation accuracy for small objects， and uneven segmentation edge. Aiming at the above problems， a instance segmentation method based on target contour is proposed. On the one hand， the feature extraction is carried out for the nodes on the object contour， which is not affected by the detection box and avoids processing the internal pixels of the object， so as to accelerate the segmentation speed. On the other hand， the gradual segmentation of the image is adopted to extract the features on the contour of the object multi-level， and the multi-scale fusion feature processing method is used to better extract the context semantic information and reduce the feature loss. The average segmentation accuracy of Cityscapes and KINS is 32.4%AP and 32.0%AP， respectively， which is better than the segmentation accuracy of many excellent works. The smoothness and the degree of fit of the object segmentation edge have better processing effect. The instance segmentation network based on target contour has better segmentation ability in instance segmentation task.

关键词

Keywords

references

HARIHARAN B ， ARBELÁEZ P ， GIRSHICK R ， et al . Simultaneous detection and segmentation ［C］// 13th European Conference on Computer Vision . Zurich， Switzerland ： Springer ， 2014 ： 297 - 312 . doi: 10.1007/978-3-319-10584-0_20 http://dx.doi.org/10.1007/978-3-319-10584-0_20

LI Y ， QI H Z ， DAI J F ， et al . Fully convolutional instance-aware semantic segmentation ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Honolulu， HI， USA ： IEEE ， 2017 ： 4438 - 4446 . doi: 10.1109/cvpr.2017.472 http://dx.doi.org/10.1109/cvpr.2017.472

HE K M ， GKIOXARI G ， DOLLÁR P ， et al . Mask R-CNN ［C］// 2017 IEEE International Conference on Computer Vision （ICCV） . Venice， Italy ： IEEE ， 2017 ： 2980 - 2988 . doi: 10.1109/iccv.2017.322 http://dx.doi.org/10.1109/iccv.2017.322

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： Towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031

HUANG Z J ， HUANG L C ， GONG Y C ， et al . Mask scoring R-CNN ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach， CA， USA ： IEEE ， 2019 ： 6402 - 6411 . doi: 10.1109/cvpr.2019.00657 http://dx.doi.org/10.1109/cvpr.2019.00657

LIU S ， QI L ， QIN H F ， et al . Path aggregation network for instance segmentation ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Salt Lake City， UT， USA ： IEEE ， 2018 ： 8759 - 8768 . doi: 10.1109/cvpr.2018.00913 http://dx.doi.org/10.1109/cvpr.2018.00913

LIU Y D ， YANG S Y ， LI B ， et al . Affinity derivation and graph merge for instance segmentation ［C］// Proceedings of the 15th European Conference on Computer Vision （ECCV） . Munich， Germany ： Springer ， 2018 ： 708 - 724 . doi: 10.1007/978-3-030-01219-9_42 http://dx.doi.org/10.1007/978-3-030-01219-9_42

LEE Y ， PARK J . CenterMask： Real-time anchor-free instance segmentation ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Seattle， WA， USA ： IEEE ， 2020 ： 13903 - 13912 . doi: 10.1109/cvpr42600.2020.01392 http://dx.doi.org/10.1109/cvpr42600.2020.01392

LIU S ， JIA J Y ， FIDLER S ， et al . SGN： Sequential grouping networks for instance segmentation ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision . Venice， Italy ： IEEE ， 2017 ： 3516 - 3524 . doi: 10.1109/iccv.2017.378 http://dx.doi.org/10.1109/iccv.2017.378

XIE E ， SUN P Z ， SONG X G ， et al . Polarmask： Single shot instance segmentation with polar representation ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Seattle， WA， USA ： IEEE ， 2020 ： 12190 - 12199 . doi: 10.1109/cvpr42600.2020.01221 http://dx.doi.org/10.1109/cvpr42600.2020.01221

TIAN Z ， SHEN C H ， CHEN H ， et al . FCOS： Fully convolutional one-stage object detection ［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision . Seoul， Korea （South）： IEEE ， 2019 ： 9626 - 9635 . doi: 10.1109/iccv.2019.00972 http://dx.doi.org/10.1109/iccv.2019.00972

PENG S D ， JIANG W ， PI H J ， et al . Deep snake for real-time instance segmentation ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Seattle， WA， USA ： IEEE ， 2020 ： 8530 - 8539 . doi: 10.1109/cvpr42600.2020.00856 http://dx.doi.org/10.1109/cvpr42600.2020.00856

KASS M ， WITKIN A ， TERZOPOULOS D . Snakes： Active contour models ［J］. International Journal of Computer Vision ， 1988 ， 1 （ 4 ）： 321 - 331 . doi: 10.1007/bf00133570 http://dx.doi.org/10.1007/bf00133570

黄鑫．基于四元数的彩色图像边缘检测研究［J］．液晶与显示， 2014 ， 29 （ 3 ）： 466 - 472 ． doi: 10.3788/yjyxs20142903.0466 http://dx.doi.org/10.3788/yjyxs20142903.0466

HUANG X . Color image edge detection based on quaternion ［J］. Chinese Journal of Liquid Crystals and Displays ， 2014 ， 29 （ 3 ）： 466 - 472 . （in Chinese） . doi: 10.3788/yjyxs20142903.0466 http://dx.doi.org/10.3788/yjyxs20142903.0466

符喜优，张风丽，王国军，等．结合张量投票和Snakes模型的SAR图像道路提取［J］．中国图象图形学报， 2015 ， 20 （ 10 ）： 1403 - 1411 ． doi: 10.11834/jig.20151014 http://dx.doi.org/10.11834/jig.20151014

FU X Y ， ZHANG F L ， WANG G J ， et al . Road extraction from SAR images using tensor voting and Snakes model ［J］. Journal of Image and Graphics ， 2015 ， 20 （ 10 ）： 1403 - 1411 . （in Chinese） . doi: 10.11834/jig.20151014 http://dx.doi.org/10.11834/jig.20151014

DUAN K W ， BAI S ， XIE L X ， et al . Centernet： Keypoint triplets for object detection ［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision . Seoul， Korea （South）： IEEE ， 2019 ： 6568 - 6577 . doi: 10.1109/iccv.2019.00667 http://dx.doi.org/10.1109/iccv.2019.00667

LAW H ， DENG J . CornerNet： Detecting objects as paired keypoints ［C］// Proceedings of the 15th European Conference on Computer Vision （ECCV） . Munich， Germany ： Springer ， 2018 ： 734 - 750 . doi: 10.1007/978-3-030-01264-9_45 http://dx.doi.org/10.1007/978-3-030-01264-9_45

He K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Las Vegas， NV， USA ： IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

徐胜军，欧阳朴衍，郭学源，等．多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割［J］．光学精密工程， 2020 ， 28 （ 7 ）： 1588 - 1599 ． doi: 10.37188/ope.20202807.1588 http://dx.doi.org/10.37188/ope.20202807.1588

XU S J ， OUYANG P Y ， GUO X Y ， et al . Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution ResNet ［J］. Optics and Precision Engineering ， 2020 ， 28 （ 7 ）： 1588 - 1599 . （in Chinese） . doi: 10.37188/ope.20202807.1588 http://dx.doi.org/10.37188/ope.20202807.1588

廖明哲，吴谨，朱磊．基于ResNet和RF-Net的遥感影像匹配［J］．液晶与显示， 2020 ， 35 （ 9 ）： 972 - 980 ． doi: 10.37188/YJYXS20203509.0972 http://dx.doi.org/10.37188/YJYXS20203509.0972

LIAO M Z ， WU J ， ZHU L . Remote sensing images matching based on ResNet and RF-Net ［J］. Chinese Journal of Liquid Crystals and Displays ， 2020 ， 35 （ 9 ）： 972 - 980 . （in Chinese） . doi: 10.37188/YJYXS20203509.0972 http://dx.doi.org/10.37188/YJYXS20203509.0972

HUANG G ， LIU Z ， MAATEN LVAN DER ， et al . Densely connected convolutional networks ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Honolulu， HI， USA ： IEEE ， 2017 ： 2261 - 2269 . doi: 10.1109/cvpr.2017.243 http://dx.doi.org/10.1109/cvpr.2017.243

周涛，霍兵强，陆惠玲，等．融合多尺度图像的密集神经网络肺部肿瘤识别算法［J］．光学精密工程， 2021 ， 29 （ 7 ）： 1695 - 1708 ． doi: 10.37188/OPE.20212907.1695 http://dx.doi.org/10.37188/OPE.20212907.1695

ZHOU T ， HUO B Q ， LU H L ， et al . Lung tumor image recognition algorithm with densenet fusion multi-scale images ［J］. Optics and Precision Engineering ， 2021 ， 29 （ 7 ）： 1695 - 1708 . doi: 10.37188/OPE.20212907.1695 http://dx.doi.org/10.37188/OPE.20212907.1695

CORDTS M ， OMRAN M ， RAMOS S ， et al . The cityscapes dataset for semantic urban scene understanding ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition（CVPR） . Las Vegas， NV， USA ： IEEE ， 2016 ： 3213 - 3223 . doi: 10.1109/cvpr.2016.350 http://dx.doi.org/10.1109/cvpr.2016.350

QI L ， JIANG L ， LIU S ， et al . Amodal instance segmentation with KINS dataset ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach， CA， USA ： IEEE ， 2019 ： 3009 - 3018 . doi: 10.1109/cvpr.2019.00313 http://dx.doi.org/10.1109/cvpr.2019.00313

ACUNA D ， LING H ， KAR A ， et al . Efficient interactive annotation of segmentation datasets with polygon-RNN++ ［C］// Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Salt Lake City， UT， USA ： IEEE ， 2018 ： 859 - 868 . doi: 10.1109/cvpr.2018.00096 http://dx.doi.org/10.1109/cvpr.2018.00096

NEVEN D ， BRABANDERE B D ， PROESMANS M ， et al . Instance segmentation by jointly optimizing spatial embeddings and clustering bandwidth ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach， CA， USA ： IEEE ， 2019 ： 8829 - 8837 . doi: 10.1109/cvpr.2019.00904 http://dx.doi.org/10.1109/cvpr.2019.00904

DAI J F ， HE K M ， SUN J . Instance-aware semantic segmentation via multi-task network cascades ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Las Vegas， NV， USA ： IEEE ， 2016 ： 3150 - 3158 . doi: 10.1109/cvpr.2016.343 http://dx.doi.org/10.1109/cvpr.2016.343

FOLLMANN P ， KÖNIG R ， HÄRTINGER P ， et al . Learning to see the invisible： End-to-end trainable amodal instance segmentation ［C］// 2019 IEEE Winter Conference on Applications of Computer Vision （WACV） . Waikoloa， HI， USA ： IEEE ， 2019 ： 1328 - 1336 . doi: 10.1109/wacv.2019.00146 http://dx.doi.org/10.1109/wacv.2019.00146

浏览量

312

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于YOLOv8s改进的自动驾驶目标检测

基于动态特征剔除与轻量化检测的视觉SLAM算法

基于改进YOLOv8n的液晶屏Mura缺陷检测

高分辨率遥感图像的目标检测

基于三维点云的光栅三维显示景深优化方法