基于代价敏感正则化和EfficientNet的糖尿病视网膜病变分类方法

王明智; 马志强; 赵锋锋; 王永杰; 郭继峰

doi:10.37188/CJLCD.2022-0161

您当前的位置：

首页 >

文章列表页 >

基于代价敏感正则化和EfficientNet的糖尿病视网膜病变分类方法

图像处理 | 更新时间：2022-11-22

- 基于代价敏感正则化和EfficientNet的糖尿病视网膜病变分类方法
- Diabetic retinopathy classification method based on cost sensitive regularization and EfficientNet
- 液晶与显示 2022年37卷第12期页码：1626-1635
- 作者机构：
  
  东北林业大学信息与计算机工程学院，黑龙江哈尔滨 150040
- 作者简介：
  
  [ "王明智（1997—），男，山东滕州人，硕士研究生，2019年于临沂大学获得学士学位，主要从事深度学习、计算机视觉、医学影像处理等方面的研究。E-mail：" ]
  [ "马志强（1980—），男，黑龙江哈尔滨人，硕士，工程师，2007年于东北林业大学获得硕士学位，主要从事人工智能、虚拟现实技术等方面的研究。E-mail： 1791105996@qq.com" ]
- 基金信息：
  
  国家自然科学基金(61300098);黑龙江省自然科学基金(LH2019C003);中央高校基本科研业务费专项资金(2572019BH03)
- DOI：10.37188/CJLCD.2022-0161
  中图分类号： TP391
- 收稿日期：2022-05-11，
  
  修回日期：2022-06-07，
  
  纸质出版日期：2022-12-05
- 稿件说明：
移动端阅览
王明智, 马志强, 赵锋锋, 等. 基于代价敏感正则化和EfficientNet的糖尿病视网膜病变分类方法[J]. 液晶与显示, 2022,37(12):1626-1635.

WANG Ming-zhi, MA Zhi-qiang, ZHAO Feng-feng, et al. Diabetic retinopathy classification method based on cost sensitive regularization and EfficientNet[J]. Chinese journal of liquid crystals and displays, 2022, 37(12): 1626-1635.
王明智, 马志强, 赵锋锋, 等. 基于代价敏感正则化和EfficientNet的糖尿病视网膜病变分类方法[J]. 液晶与显示, 2022,37(12):1626-1635. DOI： 10.37188/CJLCD.2022-0161.

WANG Ming-zhi, MA Zhi-qiang, ZHAO Feng-feng, et al. Diabetic retinopathy classification method based on cost sensitive regularization and EfficientNet[J]. Chinese journal of liquid crystals and displays, 2022, 37(12): 1626-1635. DOI： 10.37188/CJLCD.2022-0161.

摘要

糖尿病视网膜病变（DR）是糖尿病的常见并发症，是目前世界范围内导致失明的主要疾病之一。临床的早期阶段很难检测到DR。本文提出一种基于卷积神经网络的计算机辅助诊断方法，根据眼底的图像自动分类DR的严重程度。采用多种预处理方法提高输入图像的质量，并且采用多种数据增强的方法来提高数据集的均衡性。使用代价敏感正则化扩展标准分类损失函数，根据预测等级和真实等级相差程度的不同，对其施加不同的惩罚。在ImageNet数据集上进行预训练，从而引入迁移学习，并且使用Softmax激活函数的全连接层使模型获得更好的性能。基于两个数据集的实验结果表明，相较于近期学者的研究结果，该模型能够实现二次加权kappa分数约5%的改善，AUC约3%的改善。将代价敏感正则化引入到EfficientNet网络模型可以提高糖尿病视网膜病变分类任务的准确率，能够得到很好的模型性能。

Abstract

Diabetic retinopathy （DR） is a common complication of diabetes and one of the major diseases leading to blindness in the world. It is difficult to detect DR in the early clinical stage. A computer aided diagnosis method based on convolution neural network is proposed， which can automatically classify the severity of DR according to the fundus images. Various preprocessing methods are used to improve the quality of the input images and various data enhancement methods are used to improve the balance of datasets. Cost-sensitive regularization is used to expand the standard classification loss function based on EfficientNet network architecture. Depending on the degree of difference between the predicted label and the ground truth label， they are applied different penalties. In addition， pre-training on ImageNet dataset is carried on to introduce transfer learning， and the full connection layer of Softmax activation functions are used to achieve better performance of the model. According to the experimental results of two datasets， compared with the recent research results， the model can achieve an improvement of about 5% in quadratic weighted kappa score and 3% in AUC. The introduction of cost-sensitive regularization into the EfficientNet network model can improve the accuracy of diabetic retinopathy classification task and obtain a good model performance.

关键词

Keywords

references

DAS S ， MALATHY C . Survey on diagnosis of diseases from retinal images ［J］. Journal of Physics： Conference Series ， 2018 ， 1000 ： 012053 . doi: 10.1088/1742-6596/1000/1/012053 http://dx.doi.org/10.1088/1742-6596/1000/1/012053

WHO . Seventy-fourth world health assembly report on diabetes ［EB/OL］. World Health Organization . （ 2021-05-27 ）［ 2022-01-12 ］. https：//www.who.int/zh/news/item/27-05-2021-update-from-the-seventy-fourth-world-health-assembly-27-may-2021 https://www.who.int/zh/news/item/27-05-2021-update-from-the-seventy-fourth-world-health-assembly-27-may-2021 . doi: 10.1163/24688800-00301003 http://dx.doi.org/10.1163/24688800-00301003

MACHO J S ， LÓPEZ J Á F V ， REY J A D ， et al . Prevalencia de retinopatía diabética en una población diabética no seleccionada ［J］. Archivos de la Sociedad Española de Oftalmología ， 1990 ， 59 （ 3 ）： 277 - 284 .

陈筱，朱向冰，吴昌凡，等 . 基于迁移学习与特征融合的眼底图像分类［J］. 光学精密工程， 2021 ， 29 （ 2 ）： 388 - 399 . doi: 10.37188/OPE.20212902.0388 http://dx.doi.org/10.37188/OPE.20212902.0388

CHEN X ， ZHU X B ， WU C F ， et al . Research on fundus image classification based on transfer learning and feature fusion ［J］. Optics and Precision Engineering ， 2021 ， 29 （ 2 ）： 388 - 399 . （in Chinese） . doi: 10.37188/OPE.20212902.0388 http://dx.doi.org/10.37188/OPE.20212902.0388

潘宇骏，韩玉琢，解洪升，等 . 眼底自适应成像系统中的二自由度头托设计［J］. 液晶与显示， 2015 ， 30 （ 4 ）： 590 - 595 . doi: 10.3788/yjyxs20153004.0590 http://dx.doi.org/10.3788/yjyxs20153004.0590

PAN Y J ， HAN Y Z ， XIE H S ， et al . Design of two degree-of-freedom head prop in adaptive optics retinal imaging system ［J］. Chinese Journal of Liquid Crystals and Displays ， 2015 ， 30 （ 4 ）： 590 - 595 . （in Chinese） . doi: 10.3788/yjyxs20153004.0590 http://dx.doi.org/10.3788/yjyxs20153004.0590

QUELLEC G ， CHARRIÈRE K ， BOUDI Y ， et al . Deep image mining for diabetic retinopathy screening ［J］. Medical Image Analysis ， 2017 ， 39 ： 178 - 193 . doi: 10.1016/j.media.2017.04.012 http://dx.doi.org/10.1016/j.media.2017.04.012

SIMONYAN K ， VEDALDI A ， ZISSERMAN A . Deep inside convolutional networks： Visualising image classification models and saliency maps ［C］// Proceedings of the 2nd International Conference on Learning Representations . Banff ： ICLR ， 2014 .

LAM C ， YI D ， GUO M ， et al . Automated detection of diabetic retinopathy using deep learning ［J］. AMIA Joint Summits on Translational Science ， 2018 ， 2017 ： 147 - 155 . doi: 10.1016/j.ophtha.2017.02.008 http://dx.doi.org/10.1016/j.ophtha.2017.02.008

KHOJASTEH P ， ALIAHMAD B ， KUMAR D K . Fundus images analysis using deep features for detection of exudates， hemorrhages and microaneurysms ［J］. BMC Ophthalmology ， 2018 ， 18 （ 1 ）： 288 . doi: 10.1186/s12886-018-0954-4 http://dx.doi.org/10.1186/s12886-018-0954-4

SAHA O ， SATHISH R ， SHEET D . Fully convolutional neural network for semantic segmentation of anatomical structure and pathologies in colour fundus images associated with diabetic retinopathy ［J］. arXiv ， 2019 ： 1902 .03122.

周林鹏，姚剑敏，严群，等 . 融合多尺度特征及注意力机制的医学图像检索［J］. 液晶与显示， 2021 ， 36 （ 8 ）： 1174 - 1185 . doi: 10.37188/CJLCD.2020-0248 http://dx.doi.org/10.37188/CJLCD.2020-0248

ZHOU L P ， YAO J M ， YAN Q ， et al . Medicalimage retrieval with multiscale features and attention mechanisms ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 8 ）： 1174 - 1185 . （in Chinese） . doi: 10.37188/CJLCD.2020-0248 http://dx.doi.org/10.37188/CJLCD.2020-0248

庞浩，王枞 . 用于糖尿病视网膜病变检测的深度学习模型［J］. 软件学报， 2017 ， 28 （ 11 ）： 3018 - 3029 .

PANG H ， WANG C . Deep learning model for diabetic retinopathy detection ［J］. Journal of Software ， 2017 ， 28 （ 11 ）： 3018 - 3029 . （in Chinese）

GALDRAN A ， DOLZ J ， CHAKOR H ， et al . Cost-sensitive regularization for diabetic retinopathy grading from eye fundus images ［C］// Proceedings of the 23rd International Conference on Medical Image Computing and Computer-Assisted Intervention . Lima ： Springer ， 2020 ： 665 - 674 . doi: 10.1007/978-3-030-59722-1_64 http://dx.doi.org/10.1007/978-3-030-59722-1_64

VARADARAJAN A V ， BAVISHI P ， RUAMVIBOONSUK P ， et al . Predicting optical coherence tomography-derived diabetic macular edema grades from fundus photographs using deep learning ［J］. Nature Communications ， 2020 ， 11 （ 1 ）： 130 . doi: 10.1038/s41467-019-13922-8 http://dx.doi.org/10.1038/s41467-019-13922-8

孙雨琛，刘宇红，张达峰，等 . 基于深度学习的糖尿病视网膜病变诊断方法［J］. 激光与光电子学进展， 2020 ， 57 （ 24 ）： 241701 . doi: 10.3788/lop57.241701 http://dx.doi.org/10.3788/lop57.241701

SUN Y C ， LIU Y H ， ZHANG D F ， et al . Diagnosis method of diabetic retinopathy based on deep learning ［J］. Laser & Optoelectronics Progress ， 2020 ， 57 （ 24 ）： 241701 . （in Chinese） . doi: 10.3788/lop57.241701 http://dx.doi.org/10.3788/lop57.241701

LANDS A ， KOTTARATHIL A J ， BIJU A ， et al . Implementation of deep learning based algorithms for diabetic retinopathy classification from fundus images ［C］// 2020 4th International Conference on Trends in Electronics and Informatics （ICOEI） . Tirunelveli ： IEEE ， 2020 ： 1028 - 1032 . doi: 10.1109/icoei48184.2020.9142878 http://dx.doi.org/10.1109/icoei48184.2020.9142878

蔡怀宇，韩晓艳，娄世良，等 . 扫频光学相干层析视网膜图像配准去噪算法［J］. 中国光学， 2021 ， 14 （ 2 ）： 289 - 297 . doi: 10.37188/co.2020-0130 http://dx.doi.org/10.37188/co.2020-0130

CAI H Y ， HAN X Y ， LOU S L ， et al . Speckle noise reduction in swept-source optical coherence tomography by retinal image registration ［J］. Chinese Optics ， 2021 ， 14 （ 2 ）： 289 - 297 . （in Chinese） . doi: 10.37188/co.2020-0130 http://dx.doi.org/10.37188/co.2020-0130

吴海滨，魏喜盈，刘美红，等 . 结合空洞卷积和迁移学习改进YOLOv4的X光安检危险品检测［J］. 中国光学， 2021 ， 14 （ 6 ）： 1417 - 1425 . doi: 10.37188/CO.2021-0078 http://dx.doi.org/10.37188/CO.2021-0078

WU H B ， WEI X Y ， LIU M H ， et al . Improved YOLOv4 for dangerous goods detection in X-ray inspection combined with atrous convolution and transfer learning ［J］. Chinese Optics ， 2021 ， 14 （ 6 ）： 1417 - 1425 . （in Chinese） . doi: 10.37188/CO.2021-0078 http://dx.doi.org/10.37188/CO.2021-0078

TAN M X ， LE Q V . Efficientnet： Rethinking model scaling for convolutional neural networks ［C］// Proceedings of the 36th International Conference on Machine Learning . Long Beach ： PMLR ， 2019 ： 6105 - 6114 .

KIM Y ， LEE Y ， JEON M . Imbalanced image classification with complement cross entropy ［J］. Pattern Recognition Letters ， 2021 ， 151 ： 33 - 40 . doi: 10.1016/j.patrec.2021.07.017 http://dx.doi.org/10.1016/j.patrec.2021.07.017

LU Y ， JIANG M F ， WEI L Y ， et al . Automated arrhythmia classification using depthwise separable convolutional neural network with focal loss ［J］. Biomedical Signal Processing and Control ， 2021 ， 69 ： 102843 . doi: 10.1016/j.bspc.2021.102843 http://dx.doi.org/10.1016/j.bspc.2021.102843

KRAUSE J ， GULSHAN V ， RAHIMY E ， et al . Grader variability and the importance of reference standards for evaluating machine learning models for diabetic retinopathy ［J］. Ophthalmology ， 2018 ， 125 （ 8 ）： 1264 - 1272 . doi: 10.1016/j.ophtha.2018.01.034 http://dx.doi.org/10.1016/j.ophtha.2018.01.034

TSIKNAKIS N ， THEODOROPOULOS D ， MANIKIS G ， et al . Deep learning for diabetic retinopathy detection and classification based on fundus images： a review ［J］. Computers in Biology and Medicine ， 2021 ， 135 ： 104599 . doi: 10.1016/j.compbiomed.2021.104599 http://dx.doi.org/10.1016/j.compbiomed.2021.104599

WILKINSON C P ， FERRIS III F L ， KLEIN R E ， et al . Proposed international clinical diabetic retinopathy and diabetic macular edema disease severity scales ［J］. Ophthalmology ， 2003 ， 110 （ 9 ）： 1677 - 1682 . doi: 10.1016/s0161-6420(03)00475-5 http://dx.doi.org/10.1016/s0161-6420(03)00475-5

范家伟，张如如，陆萌，等 . 深度学习方法在糖尿病视网膜病变诊断中的应用［J］. 自动化学报， 2021 ， 47 （ 5 ）： 985 - 1004 .

FAN J W ， ZHANG R R ， LU M ， et al . Applications of deep learning techniques for diabetic retinal diagnosis ［J］. Acta Automatica Sinica ， 2021 ， 47 （ 5 ）： 985 - 1004 . （in Chinese）

MATEEN M ， WEN J H ， HASSAN M ， et al . Automatic detection of diabetic retinopathy： a review on datasets， methods and evaluation metrics ［J］. IEEE Access ， 2020 ， 8 ： 48784 - 48811 . doi: 10.1109/access.2020.2980055 http://dx.doi.org/10.1109/access.2020.2980055

XIAO Q Q ， ZOU J X ， YANG M Q ， et al . Improving lesion segmentation for diabetic retinopathy using adversarial learning ［C］// Proceedings of the 16th International Conference on Image Analysis and Recognition . Waterloo ： Springer ， 2019 ： 333 - 344 . doi: 10.1007/978-3-030-27272-2_29 http://dx.doi.org/10.1007/978-3-030-27272-2_29

GHOSH R ， GHOSH K ， MAITRA S . Automatic detection and classification of diabetic retinopathy stages using CNN ［C］// 2017 4th International Conference on Signal Processing and Integrated Networks （SPIN） . Noida ： IEEE ， 2017 ： 550 - 554 . doi: 10.1109/spin.2017.8050011 http://dx.doi.org/10.1109/spin.2017.8050011

郭继峰，李星，庞志奇，等 . 自定义模糊逻辑与GAN在图像高光处理中的研究［J］. 小型微型计算机系统， 2021 ， 42 （ 8 ）： 1715 - 1719 . doi: 10.3969/j.issn.1000-1220.2021.08.023 http://dx.doi.org/10.3969/j.issn.1000-1220.2021.08.023

GUO J F ， LI X ， PANG Z Q ， et al . Research on custom fuzzy logic and generative adversarial networks in image highlight processing ［J］. Journal of Chinese Computer Systems ， 2021 ， 42 （ 8 ）： 1715 - 1719 . （in Chinese） . doi: 10.3969/j.issn.1000-1220.2021.08.023 http://dx.doi.org/10.3969/j.issn.1000-1220.2021.08.023

BRAVO M A ， ARBELÁEZ P A . Automatic diabetic retinopathy classification ［C］// 13th International Symposium on Medical Information Processing and Analysis . San Andres Island ： SIPAIM ， 2017 . doi: 10.1117/12.2285939 http://dx.doi.org/10.1117/12.2285939

GUO J F ， PANG Z Q ， YANG F ， et al . Study on the Method of fundus image generation based on improved GAN ［J］. Mathematical Problems in Engineering ， 2020 ， 2020 ： 6309596 . doi: 10.1155/2020/6309596 http://dx.doi.org/10.1155/2020/6309596

TSAI C Y ， CHEN C T ， CHEN G A ， et al . Necessity of local modification for deep learning algorithms to predict diabetic retinopathy ［J］. International Journal of Environmental Research and Public Health ， 2022 ， 19 （ 3 ）： 1204 . doi: 10.3390/ijerph19031204 http://dx.doi.org/10.3390/ijerph19031204

BHARDWAJ C ， JAIN S ， SOOD M . Diabetic retinopathy severity grading employing quadrant-based Inception-V3 convolution neural network architecture ［J］. International Journal of Imaging Systems and Technology ， 2021 ， 31 （ 2 ）： 592 - 608 . doi: 10.1002/ima.22510 http://dx.doi.org/10.1002/ima.22510

ZENG X L ， CHEN H Q ， LUO Y ， et al . Automated diabetic retinopathy detection based on binocular siamese-like convolutional neural network ［J］. IEEE Access ， 2019 ， 7 ： 30744 - 30753 . doi: 10.1109/access.2019.2903171 http://dx.doi.org/10.1109/access.2019.2903171

浏览量

190

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于改进ShuffleNetV2网络的遥感场景分类模型

基于改进YOLOv8n的液晶屏Mura缺陷检测

TFT-LCD表面Mura缺陷的AOI检测研究进展