基于NODE-UNet++和标记分水岭算法的红细胞图像分割

荣亚琪; 张丽娟; 崔金利; 苏伟; 盖梦野

doi:10.37188/CJLCD.2022-0009

您当前的位置：

首页 >

文章列表页 >

基于NODE-UNet++和标记分水岭算法的红细胞图像分割

图像处理 | 更新时间：2022-12-07

- 基于NODE-UNet++和标记分水岭算法的红细胞图像分割
- Red blood cell image segmentation based on NODE-UNet++ and marker watershed
- 液晶与显示 2022年37卷第9期页码：1190-1198
- 作者机构：
  
  1.吉林农业大学信息技术学院，吉林长春 130118
  2.长春工业大学计算机科学与工程学院，吉林长春 130012
  3.长春中医药大学附属医院医药影像科，吉林长春 130000
  4.长春中医药大学医药信息学院，吉林长春 130117
- 作者简介：
  
  [ "荣亚琪（1996—），女，河南濮阳人，硕士研究生，2018年于哈尔滨学院获得学士学位，主要从事深度学习及医学图像处理方面的研究。E-mail：rongqi0401@163.com" ]
  [ "盖梦野（1991—），女，吉林长春人，硕士，讲师，2016年于吉林农业大学获得硕士学位，主要从事人工智能及图像处理等方面的研究。E-mail：mengyeg@jlau.edu.cn" ]
- 基金信息：
  
  国家自然基金(61806024);吉林省教育厅科学研究项目(JJKH20210747KJ;JJKH20200678KJ);吉林省生态环境科学研究项目(202107)
- DOI：10.37188/CJLCD.2022-0009
  中图分类号： TP391
- 收稿日期：2022-01-15，
  
  修回日期：2022-02-25，
  
  纸质出版日期：2022-09-05
- 稿件说明：
移动端阅览
荣亚琪, 张丽娟, 崔金利, 等. 基于NODE-UNet++和标记分水岭算法的红细胞图像分割[J]. 液晶与显示, 2022,37(9):1190-1198.

RONG Ya-qi, ZHANG Li-juan, CUI Jin-li, et al. Red blood cell image segmentation based on NODE-UNet++ and marker watershed[J]. Chinese journal of liquid crystals and displays, 2022, 37(9): 1190-1198.
荣亚琪, 张丽娟, 崔金利, 等. 基于NODE-UNet++和标记分水岭算法的红细胞图像分割[J]. 液晶与显示, 2022,37(9):1190-1198. DOI： 10.37188/CJLCD.2022-0009.

RONG Ya-qi, ZHANG Li-juan, CUI Jin-li, et al. Red blood cell image segmentation based on NODE-UNet++ and marker watershed[J]. Chinese journal of liquid crystals and displays, 2022, 37(9): 1190-1198. DOI： 10.37188/CJLCD.2022-0009.

摘要

对血液涂片图像中的红细胞进行精确分割是一项重要的技术，也是一个难题，主要是因为红细胞经常重叠，没有明显边界。针对此问题，本文提出一种基于U-Net++和神经常微分方程（Neural Ordinary Differential Equations，NODE）的深度学习网络NODE-UNet++用于红细胞的初步分割，再利用标记分水岭算法分割血液涂片图像中的粘连红细胞。首先对图像进行裁剪和标注，突出待分割区域；然后应用新的语义分割体系结构NODE-UNet++对预处理后的图像进行初始分割得到概率灰度图；最后采用标记分水岭算法将灰度图中的粘连红细胞分离，得到最终红细胞分割结果图。实验结果表明，Dice系数达到96.89%、平均像素准确率达到98.97%、平均交并比达到96.33%。通过对不同血液涂片图像的分割结果表明，该方法能高效精确地提取每个红细胞，满足后续红细胞图像处理的需求。

Abstract

Accurate segmentation of red blood cell （RBC） from blood smear images is an important technique and a difficult problem， mainly because RBCs often overlap and have no distinct boundaries. To solve this problem， a deep learning network called NODE-UNet++ is proposed， which is based on U-Net++ and neural ordinary differential equations （NODE）. It is mainly used for pre-segmentation of RBCs， and then the marker watershed algorithm is adopted to segment clustered RBCs from blood smear images. Firstly， an image is clipped and labeled to highlight the region to be segmented. Then， a new semantic segmentation architecture NODE-UNet ++ is applied for pre-segmentation of the preprocessed image to obtain the probability grayscale image. Finally， the marker watershed method is used to separate the clustered RBCs in the grayscale image to obtain final RBC segmentation result. The experimental results show that the Dice similarly coefficient is 96.89%， the mean pixel accuracy is 98.97%， and the mean intersection over union is 96.33%. Segmentation results of different blood smear images show that the proposed method can extract each RBC efficiently and accurately to meet the requirements of subsequent RBC image processing.

关键词

Keywords

references

SHEMONA J S ， CHELLAPPAN A K . Segmentation techniques for early cancer detection in red blood cells with deep learning-based classifier—A comparative approach ［J］. IET Image Processing ， 2020 ， 14 （ 9 ）： 1726 - 1732 . doi: 10.1049/iet-ipr.2019.1067 http://dx.doi.org/10.1049/iet-ipr.2019.1067

BOYKOV Y Y ， JOLLY M P . Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images ［C］// Proceedings of the Eighth IEEE International Conference on Computer Vision . Vancouver ： IEEE ， 2001 ： 105 - 112 .

ROTHER C ， KOLMOGOROV V ， BLAKE A . “GrabCut”： interactive foreground extraction using iterated graph cuts ［J］. ACM Transactions on Graphics ， 2004 ， 23 （ 3 ）： 309 - 314 . doi: 10.1145/1015706.1015720 http://dx.doi.org/10.1145/1015706.1015720

吴秋红，吴谨，朱磊，等 . 基于图论和FCM的图像分割算法［J］. 液晶与显示， 2016 ， 31 （ 1 ）： 112 - 116 ． doi: 10.3788/yjyxs20163101.0112 http://dx.doi.org/10.3788/yjyxs20163101.0112

WU Q H ， WU J ， ZHU L ， et al . Image segmentation algorithm based on graph theory and FCM ［J］. Chinese Journal of Liquid Crystals and Displays ， 2016 ， 31 （ 1 ）： 112 - 116 . （in Chinese） . doi: 10.3788/yjyxs20163101.0112 http://dx.doi.org/10.3788/yjyxs20163101.0112

OSHER S ， PARAGIOS N . Geometric Level Set Methods in Imaging ， Vision ， and Graphics ［M］. New York ： Springer ， 2003 . doi: 10.1007/b97541 http://dx.doi.org/10.1007/b97541

VINCENT L ， SOILLE P . Watersheds in digital spaces： an efficient algorithm based on immersion simulations ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 1991 ， 13 （ 6 ）： 583 - 598 . doi: 10.1109/34.87344 http://dx.doi.org/10.1109/34.87344

LECUN Y ， BOTTOU L ， BENGIO Y ， et al . Gradient-based learning applied to document recognition ［J］. Proceedings of the IEEE ， 1998 ， 86 （ 11 ）： 2278 - 2324 . doi: 10.1109/5.726791 http://dx.doi.org/10.1109/5.726791

SHELHAMER E ， LONG J ， DARRELL T . Fully convolutional networks for semantic segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 4 ）： 640 - 651 . doi: 10.1109/tpami.2016.2572683 http://dx.doi.org/10.1109/tpami.2016.2572683

RONNEBERGER O ， FISCHER P ， BROX T . U-Net： convolutional networks for biomedical image segmentation ［C］// Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention . Munich ： Springer ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

ZHOU Z W ， SIDDIQUEE M R ， TAJBAKHSH N ， et al . UNet++： a nested U-Net architecture for medical image segmentation ［C］// Proceedings of the 4th International Workshop on Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support . Granada ： Springer ， 2018 ： 3 - 11 . doi: 10.1007/978-3-030-00889-5_1 http://dx.doi.org/10.1007/978-3-030-00889-5_1

ZHOU Z W ， SIDDIQUEE M R ， TAJBAKHSH N ， et al . UNet++： redesigning skip connections to exploit multiscale features in image segmentation ［J］. IEEE Transactions on Medical Imaging ， 2020 ， 39 （ 6 ）： 1856 - 1867 . doi: 10.1109/tmi.2019.2959609 http://dx.doi.org/10.1109/tmi.2019.2959609

王卫星，田利平，王悦 . 基于改进的图论最小生成树及骨架距离直方图分割细胞图像［J］. 光学精密工程， 2013 ， 21 （ 9 ）： 2464 - 2472 ． doi: 10.3788/ope.20132109.2464 http://dx.doi.org/10.3788/ope.20132109.2464

WANG W X ， TIAN L P ， WANG Y . Segmentation of cell images based on improved graph MST and skeleton distance mapping ［J］. Optics and Precision Engineering ， 2013 ， 21 （ 9 ）： 2464 - 2472 . （in Chinese） . doi: 10.3788/ope.20132109.2464 http://dx.doi.org/10.3788/ope.20132109.2464

WEI X D ， CAO Y P . Automatic counting method for complex overlapping erythrocytes based on seed prediction in microscopic imaging ［J］. Journal of Innovative Optical Health Sciences ， 2016 ， 9 （ 5 ）： 1650016 .

MIAO H S ， XIAO C Y . Simultaneous segmentation of leukocyte and erythrocyte in microscopic images using a marker-controlled watershed algorithm ［J］. Computational and Mathematical Methods in Medicine ， 2018 ， 2018 ： 7235795 . doi: 10.1155/2018/7235795 http://dx.doi.org/10.1155/2018/7235795

TAGHANAKI S A ， ABHISHEK K ， COHEN J P ， et al . Deep semantic segmentation of natural and medical images： a review ［J］. Artificial Intelligence Review ， 2021 ， 54 （ 1 ）： 137 - 178 . doi: 10.1007/s10462-020-09854-1 http://dx.doi.org/10.1007/s10462-020-09854-1

ROY R M ， AMEER P M . Segmentation of leukocyte by semantic segmentation model： a deep learning approach ［J］. Biomedical Signal Processing and Control ， 2021 ， 65 ： 102385 . doi: 10.1016/j.bspc.2020.102385 http://dx.doi.org/10.1016/j.bspc.2020.102385

WANG W ， LI Q ， XIAO C Y ， et al . An improved boundary-aware U-Net for ore image semantic segmentation ［J］. Sensors ， 2021 ， 21 （ 8 ）： 2615 . doi: 10.3390/s21082615 http://dx.doi.org/10.3390/s21082615

HUANG Y J ， XU H X . Fully convolutional network with attention modules for semantic segmentation ［J］. Signal， Image and Video Processing ， 2021 ， 15 （ 5 ）： 1031 - 1039 . doi: 10.1007/s11760-020-01828-8 http://dx.doi.org/10.1007/s11760-020-01828-8

HUANG Y M ， ZHU H Q ， WANG P Y ， et al . Segmentation of overlapping cervical smear cells based on U-Net and improved level set ［C］// Proceedings of 2019 IEEE International Conference on Systems， Man and Cybernetics . Bari ： IEEE ， 2019 ： 3031 - 3035 . doi: 10.1109/smc.2019.8914625 http://dx.doi.org/10.1109/smc.2019.8914625

KOWAL M ， ŻEJMO M ， SKOBEL M ， et al . Cell nuclei segmentation in cytological images using convolutional neural network and seeded watershed algorithm ［J］. Journal of Digital Imaging ， 2020 ， 33 （ 1 ）： 231 - 242 . doi: 10.1007/s10278-019-00200-8 http://dx.doi.org/10.1007/s10278-019-00200-8

CHEN R T Q ， RUBANOVA Y ， BETTENCOURT J ， et al . Neural ordinary differential equations ［C］// Proceedings of the 32nd International Conference on Neural Information Processing Systems . Montréal ： Curran Associates Inc. ， 2018 ： 6572 - 6583 .

SARRAFZADEH O ， DEHNAVI A M ， RABBANI H ， et al . Circlet based framework for red blood cells segmentation and counting ［C］// Proceedings of 2015 IEEE Workshop on Signal Processing Systems . Hangzhou ： IEEE ， 2015 ： 1 - 6 . doi: 10.1109/sips.2015.7344979 http://dx.doi.org/10.1109/sips.2015.7344979

RUSSELL B C ， TORRALBA A ， MURPHY K P ， et al . LabelMe： a database and web-based tool for image annotation ［J］. International Journal of Computer Vision ， 2008 ， 77 （ 1 ）： 157 - 173 . doi: 10.1007/s11263-007-0090-8 http://dx.doi.org/10.1007/s11263-007-0090-8

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

XIE L P ， QI J ， PAN L L ， et al . Integrating deep convolutional neural networks with marker-controlled watershed for overlapping nuclei segmentation in histopathology images ［J］. Neurocomputing ， 2019 ， 376 ： 166 - 179 . doi: 10.1016/j.neucom.2019.09.083 http://dx.doi.org/10.1016/j.neucom.2019.09.083

WANG J Y ， ZHAO Y C ， WANG Y ， et al . Marked watershed algorithm combined with morphological preprocessing based segmentation of adherent spores ［M］//LIANG Q L， WANG W， LIU X， et al. Communications ， Signal Processing， and Systems. Singapore ： Springer ， 2019 ： 1316 - 1323 . doi: 10.1007/978-981-13-9409-6_157 http://dx.doi.org/10.1007/978-981-13-9409-6_157

FAN P ， ZHOU R G ， HU W W ， et al . Quantum image edge extraction based on classical Sobel operator for NEQR ［J］. Quantum Information Processing ， 2019 ， 18 （ 1 ）： 24 . doi: 10.1007/s11128-018-2131-3 http://dx.doi.org/10.1007/s11128-018-2131-3

浏览量

187

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于边缘增强和特征融合的伪装目标分割

基于图像分割的点云去噪方法

自适应动态肤色检测技术研究进展

基于Faster R-CNN的仪表识别方法