Instance segmentation method based on target contour

Jin-guang SUN; Xue WANG

doi:10.37188/CJLCD.2021-0236

您当前的位置：

首页 >

文章列表页 >

Instance segmentation method based on target contour

Image Processing | 更新时间：2022-06-14

- Instance segmentation method based on target contour
- Chinese Journal of Liquid Crystals and Displays Vol. 37, Issue 4, Pages: 519-529(2022)
- 作者机构：
  
  辽宁工程技术大学电子与信息工程学院，辽宁葫芦岛 125105
- 作者简介：
- 基金信息：
  
  Supported by National Key Research and Development Program(2018YFB1403303)
- DOI：10.37188/CJLCD.2021-0236
  CLC： TP391.41
- Received：09 September 2021，
  
  Revised：02 November 2021，
  
  Published：05 April 2022
- 稿件说明：
移动端阅览
Jin-guang SUN, Xue WANG. Instance segmentation method based on target contour[J]. Chinese journal of liquid crystals and displays, 2022, 37(4): 519-529.
DOI：

Jin-guang SUN, Xue WANG. Instance segmentation method based on target contour[J]. Chinese journal of liquid crystals and displays, 2022, 37(4): 519-529. DOI： 10.37188/CJLCD.2021-0236.

摘要

实例分割的目的是使用像素级实例掩码对单个对象进行分类和定位，是计算机视觉中一项具有挑战性的任务，目前存在分割速度慢、小物体分割精度低、分割边缘不平滑等问题。针对以上问题，提出了基于目标轮廓的实例分割方法，一方面，对物体轮廓上的结点进行特征提取，在不受检测框影响的同时避免了对目标物体内部像素点进行处理，以达到加快分割速度的效果；另一方面，对图像采取渐进式分割处理，多层次地提取物体轮廓上的特征，并配以多尺度融合的特征处理方法，更好地提取上下文语义信息，减少特征丢失。实验结果表明，本文算法在Cityscapes和KINS数据集中平均分割精度分别达到了32.4%AP和32.0%AP，较目前许多优秀工作的分割精度都有所提升，在物体分割边缘的平滑程度以及贴合程度上均有更佳的处理效果。实验证明，基于目标轮廓的实例分割网络在实例分割任务中有较好的分割能力。

Abstract

The purpose of instance segmentation is to use pixel-level instance mask to classify and locate a single object， which is a challenging task in computer vision. At present， there are some problems such as slow segmentation speed， low segmentation accuracy for small objects， and uneven segmentation edge. Aiming at the above problems， a instance segmentation method based on target contour is proposed. On the one hand， the feature extraction is carried out for the nodes on the object contour， which is not affected by the detection box and avoids processing the internal pixels of the object， so as to accelerate the segmentation speed. On the other hand， the gradual segmentation of the image is adopted to extract the features on the contour of the object multi-level， and the multi-scale fusion feature processing method is used to better extract the context semantic information and reduce the feature loss. The average segmentation accuracy of Cityscapes and KINS is 32.4%AP and 32.0%AP， respectively， which is better than the segmentation accuracy of many excellent works. The smoothness and the degree of fit of the object segmentation edge have better processing effect. The instance segmentation network based on target contour has better segmentation ability in instance segmentation task.

关键词

Keywords

references

HARIHARAN B ， ARBELÁEZ P ， GIRSHICK R ， et al . Simultaneous detection and segmentation ［C］// 13th European Conference on Computer Vision . Zurich， Switzerland ： Springer ， 2014 ： 297 - 312 . doi: 10.1007/978-3-319-10584-0_20 http://dx.doi.org/10.1007/978-3-319-10584-0_20

LI Y ， QI H Z ， DAI J F ， et al . Fully convolutional instance-aware semantic segmentation ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Honolulu， HI， USA ： IEEE ， 2017 ： 4438 - 4446 . doi: 10.1109/cvpr.2017.472 http://dx.doi.org/10.1109/cvpr.2017.472

HE K M ， GKIOXARI G ， DOLLÁR P ， et al . Mask R-CNN ［C］// 2017 IEEE International Conference on Computer Vision （ICCV） . Venice， Italy ： IEEE ， 2017 ： 2980 - 2988 . doi: 10.1109/iccv.2017.322 http://dx.doi.org/10.1109/iccv.2017.322

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： Towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031

HUANG Z J ， HUANG L C ， GONG Y C ， et al . Mask scoring R-CNN ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach， CA， USA ： IEEE ， 2019 ： 6402 - 6411 . doi: 10.1109/cvpr.2019.00657 http://dx.doi.org/10.1109/cvpr.2019.00657

LIU S ， QI L ， QIN H F ， et al . Path aggregation network for instance segmentation ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Salt Lake City， UT， USA ： IEEE ， 2018 ： 8759 - 8768 . doi: 10.1109/cvpr.2018.00913 http://dx.doi.org/10.1109/cvpr.2018.00913

LIU Y D ， YANG S Y ， LI B ， et al . Affinity derivation and graph merge for instance segmentation ［C］// Proceedings of the 15th European Conference on Computer Vision （ECCV） . Munich， Germany ： Springer ， 2018 ： 708 - 724 . doi: 10.1007/978-3-030-01219-9_42 http://dx.doi.org/10.1007/978-3-030-01219-9_42

LEE Y ， PARK J . CenterMask： Real-time anchor-free instance segmentation ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Seattle， WA， USA ： IEEE ， 2020 ： 13903 - 13912 . doi: 10.1109/cvpr42600.2020.01392 http://dx.doi.org/10.1109/cvpr42600.2020.01392

LIU S ， JIA J Y ， FIDLER S ， et al . SGN： Sequential grouping networks for instance segmentation ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision . Venice， Italy ： IEEE ， 2017 ： 3516 - 3524 . doi: 10.1109/iccv.2017.378 http://dx.doi.org/10.1109/iccv.2017.378

XIE E ， SUN P Z ， SONG X G ， et al . Polarmask： Single shot instance segmentation with polar representation ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Seattle， WA， USA ： IEEE ， 2020 ： 12190 - 12199 . doi: 10.1109/cvpr42600.2020.01221 http://dx.doi.org/10.1109/cvpr42600.2020.01221

TIAN Z ， SHEN C H ， CHEN H ， et al . FCOS： Fully convolutional one-stage object detection ［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision . Seoul， Korea （South）： IEEE ， 2019 ： 9626 - 9635 . doi: 10.1109/iccv.2019.00972 http://dx.doi.org/10.1109/iccv.2019.00972

PENG S D ， JIANG W ， PI H J ， et al . Deep snake for real-time instance segmentation ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Seattle， WA， USA ： IEEE ， 2020 ： 8530 - 8539 . doi: 10.1109/cvpr42600.2020.00856 http://dx.doi.org/10.1109/cvpr42600.2020.00856

KASS M ， WITKIN A ， TERZOPOULOS D . Snakes： Active contour models ［J］. International Journal of Computer Vision ， 1988 ， 1 （ 4 ）： 321 - 331 . doi: 10.1007/bf00133570 http://dx.doi.org/10.1007/bf00133570

黄鑫．基于四元数的彩色图像边缘检测研究［J］．液晶与显示， 2014 ， 29 （ 3 ）： 466 - 472 ． doi: 10.3788/yjyxs20142903.0466 http://dx.doi.org/10.3788/yjyxs20142903.0466

HUANG X . Color image edge detection based on quaternion ［J］. Chinese Journal of Liquid Crystals and Displays ， 2014 ， 29 （ 3 ）： 466 - 472 . （in Chinese） . doi: 10.3788/yjyxs20142903.0466 http://dx.doi.org/10.3788/yjyxs20142903.0466

符喜优，张风丽，王国军，等．结合张量投票和Snakes模型的SAR图像道路提取［J］．中国图象图形学报， 2015 ， 20 （ 10 ）： 1403 - 1411 ． doi: 10.11834/jig.20151014 http://dx.doi.org/10.11834/jig.20151014

FU X Y ， ZHANG F L ， WANG G J ， et al . Road extraction from SAR images using tensor voting and Snakes model ［J］. Journal of Image and Graphics ， 2015 ， 20 （ 10 ）： 1403 - 1411 . （in Chinese） . doi: 10.11834/jig.20151014 http://dx.doi.org/10.11834/jig.20151014

DUAN K W ， BAI S ， XIE L X ， et al . Centernet： Keypoint triplets for object detection ［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision . Seoul， Korea （South）： IEEE ， 2019 ： 6568 - 6577 . doi: 10.1109/iccv.2019.00667 http://dx.doi.org/10.1109/iccv.2019.00667

LAW H ， DENG J . CornerNet： Detecting objects as paired keypoints ［C］// Proceedings of the 15th European Conference on Computer Vision （ECCV） . Munich， Germany ： Springer ， 2018 ： 734 - 750 . doi: 10.1007/978-3-030-01264-9_45 http://dx.doi.org/10.1007/978-3-030-01264-9_45

He K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Las Vegas， NV， USA ： IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

徐胜军，欧阳朴衍，郭学源，等．多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割［J］．光学精密工程， 2020 ， 28 （ 7 ）： 1588 - 1599 ． doi: 10.37188/ope.20202807.1588 http://dx.doi.org/10.37188/ope.20202807.1588

XU S J ， OUYANG P Y ， GUO X Y ， et al . Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution ResNet ［J］. Optics and Precision Engineering ， 2020 ， 28 （ 7 ）： 1588 - 1599 . （in Chinese） . doi: 10.37188/ope.20202807.1588 http://dx.doi.org/10.37188/ope.20202807.1588

廖明哲，吴谨，朱磊．基于ResNet和RF-Net的遥感影像匹配［J］．液晶与显示， 2020 ， 35 （ 9 ）： 972 - 980 ． doi: 10.37188/YJYXS20203509.0972 http://dx.doi.org/10.37188/YJYXS20203509.0972

LIAO M Z ， WU J ， ZHU L . Remote sensing images matching based on ResNet and RF-Net ［J］. Chinese Journal of Liquid Crystals and Displays ， 2020 ， 35 （ 9 ）： 972 - 980 . （in Chinese） . doi: 10.37188/YJYXS20203509.0972 http://dx.doi.org/10.37188/YJYXS20203509.0972

HUANG G ， LIU Z ， MAATEN LVAN DER ， et al . Densely connected convolutional networks ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Honolulu， HI， USA ： IEEE ， 2017 ： 2261 - 2269 . doi: 10.1109/cvpr.2017.243 http://dx.doi.org/10.1109/cvpr.2017.243

周涛，霍兵强，陆惠玲，等．融合多尺度图像的密集神经网络肺部肿瘤识别算法［J］．光学精密工程， 2021 ， 29 （ 7 ）： 1695 - 1708 ． doi: 10.37188/OPE.20212907.1695 http://dx.doi.org/10.37188/OPE.20212907.1695

ZHOU T ， HUO B Q ， LU H L ， et al . Lung tumor image recognition algorithm with densenet fusion multi-scale images ［J］. Optics and Precision Engineering ， 2021 ， 29 （ 7 ）： 1695 - 1708 . doi: 10.37188/OPE.20212907.1695 http://dx.doi.org/10.37188/OPE.20212907.1695

CORDTS M ， OMRAN M ， RAMOS S ， et al . The cityscapes dataset for semantic urban scene understanding ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition（CVPR） . Las Vegas， NV， USA ： IEEE ， 2016 ： 3213 - 3223 . doi: 10.1109/cvpr.2016.350 http://dx.doi.org/10.1109/cvpr.2016.350

QI L ， JIANG L ， LIU S ， et al . Amodal instance segmentation with KINS dataset ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach， CA， USA ： IEEE ， 2019 ： 3009 - 3018 . doi: 10.1109/cvpr.2019.00313 http://dx.doi.org/10.1109/cvpr.2019.00313

ACUNA D ， LING H ， KAR A ， et al . Efficient interactive annotation of segmentation datasets with polygon-RNN++ ［C］// Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Salt Lake City， UT， USA ： IEEE ， 2018 ： 859 - 868 . doi: 10.1109/cvpr.2018.00096 http://dx.doi.org/10.1109/cvpr.2018.00096

NEVEN D ， BRABANDERE B D ， PROESMANS M ， et al . Instance segmentation by jointly optimizing spatial embeddings and clustering bandwidth ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach， CA， USA ： IEEE ， 2019 ： 8829 - 8837 . doi: 10.1109/cvpr.2019.00904 http://dx.doi.org/10.1109/cvpr.2019.00904

DAI J F ， HE K M ， SUN J . Instance-aware semantic segmentation via multi-task network cascades ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Las Vegas， NV， USA ： IEEE ， 2016 ： 3150 - 3158 . doi: 10.1109/cvpr.2016.343 http://dx.doi.org/10.1109/cvpr.2016.343

FOLLMANN P ， KÖNIG R ， HÄRTINGER P ， et al . Learning to see the invisible： End-to-end trainable amodal instance segmentation ［C］// 2019 IEEE Winter Conference on Applications of Computer Vision （WACV） . Waikoloa， HI， USA ： IEEE ， 2019 ： 1328 - 1336 . doi: 10.1109/wacv.2019.00146 http://dx.doi.org/10.1109/wacv.2019.00146

Views

312

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Improved autonomous driving object detection based on YOLOv8s

Visual SLAM algorithm based on dynamic feature elimination and dense mapping

Mura defect detection of LCD screen based on improved YOLOv8n

Object detection methods for high resolution remote sensing images

Depth of field adjustment method on 3D raster display based on 3D point clouds

Related Author

WANG Longchun

FANG Wei

ZHANG Lijuan

LI Dongming

ZHANG Heng

WANG Lei

ZHANG Pengchang

CHANG Jian

Related Institution

School of Internet of Things Engineering， Wuxi University

School of Computer Science， Nanjing University of Information Science and Technology

School of Mechanical Engineering， Shaanxi University of Technology

Sichuan Jinglong Optoelectronic Technology Co. Ltd.， Yinbin

School of Mechanical Engineering， Sichuan University of Science & Engineering， Yinbin

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰