基于CE-YOLOX的导盲系统障碍物检测方法

刘源; 张荣芬; 刘宇红; 程娜娜; 刘昕斐; 杨双

doi:10.37188/CJLCD.2022-0358

您当前的位置：

首页 >

文章列表页 >

基于CE-YOLOX的导盲系统障碍物检测方法

图像处理 | 更新时间：2023-09-27

- 基于CE-YOLOX的导盲系统障碍物检测方法
- Obstacle detection method for guide system based on CE-YOLOX
- 液晶与显示 2023年38卷第9期页码：1281-1292
- 作者机构：
  
  1.贵州大学大数据与信息工程学院，贵州贵阳 550025
- 作者简介：
  
  [ "刘源（1998—），男，湖南常德人，硕士研究生，2020年于湘潭大学获得学士学位，主要从事深度学习、图像处理方面的研究。E-mail：liuyuan980528@163.com" ]
  [ "刘宇红（1963—），男，贵州贵阳人，硕士，教授，1988年于贵州大学获得硕士学位，主要从事智能硬件、机器学习、人工智能、大数据采集与处理、物联网与云计算技术等方面的研究。E-mail：liuyuhongxy@sina.com" ]
- 基金信息：
  
  贵州省科学技术基金（黔科合基础-ZK［2021］重点001）
- DOI：10.37188/CJLCD.2022-0358
  中图分类号：
扫描看全文
刘源, 张荣芬, 刘宇红, 等. 基于CE-YOLOX的导盲系统障碍物检测方法[J]. 液晶与显示, 2023,38(9):1281-1292.

LIU Yuan, ZHANG Rong-fen, LIU Yu-hong, et al. Obstacle detection method for guide system based on CE-YOLOX[J]. Chinese Journal of Liquid Crystals and Displays, 2023,38(9):1281-1292.
刘源, 张荣芬, 刘宇红, 等. 基于CE-YOLOX的导盲系统障碍物检测方法[J]. 液晶与显示, 2023,38(9):1281-1292. DOI： 10.37188/CJLCD.2022-0358.

LIU Yuan, ZHANG Rong-fen, LIU Yu-hong, et al. Obstacle detection method for guide system based on CE-YOLOX[J]. Chinese Journal of Liquid Crystals and Displays, 2023,38(9):1281-1292. DOI： 10.37188/CJLCD.2022-0358.

摘要

由于盲人对周围环境缺乏视觉感知力，出行一直是盲人生活中的困扰。本文提出一种基于YOLOX改进的导盲系统障碍物检测算法CE-YOLOX。首先，为了减少特征融合网络在特征通道缩减时带来的语义信息的丢失，以亚像素跳变融合模块SSF和亚像素上下文增强模块SCE来充分利用通道信息和不同尺度的语义信息，以通道注意力引导模块CAG减少多尺度特征融合带来的混叠效应。其次，为了使模型更加聚焦于有效特征，引入全局注意力机制GAM，通过减少信息弥散和放大全局交互表示来提高模型性能。然后，使用SIOU-LOSS替换原模型的位置回归损失函数IOU-LOSS，加快了边框的回归速度与精度。最后，搭建导盲系统检测平台，将所提算法移植到边缘计算设备NVIDIA Xavier NX上。实验结果表明，改进的导盲系统障碍物算法在服务器和NVIDIA Xavier NX平台上的mAP一致，提升至90.53%，相较原YOLOX模型算法提高了2.45%。在服务器上的检测速度达到75.93 FPS。本文模型在兼顾检测速度的同时提高了精度，显著优于对比算法，满足边缘计算设备的要求，具有实际的应用价值。

Abstract

Travel has always been a problem for blind people due to their lack of visual perception of the surrounding environment. This paper presents an improved obstacle detection algorithm CE-YOLOX based on YOLOX for guide system. Firstly， in order to reduce semantic information loss caused by feature fusion network when feature channel is reduced， sub-pixel hopping fusion module SSF and sub-pixel context enhancement module SCE are used to make full use of channel information and semantic information of different scales， and channel attention guide module CAG is used to reduce aliasing effect caused by multi-scale feature fusion. Secondly， in order to make the model more focused on effective features， the global attention mechanism GAM is introduced to improve the performance of the model by reducing the information dispersion and amplifying the global interactive representation. Then， the position regression function IOU-LOSS of the original model is replaced by SIOU-LOSS， which speeds up the regression speed and precision of the frame. Finally， the detection platform of the guide system is built and the proposed algorithm is transplanted to the edge computing device NVIDIA Xavier NX. The experimental results show that the obstacle algorithm of the improved guide system has the same mAP on the server and NVIDIA Xavier NX platform， which is improved to 90.53%， 2.45% higher than the original YOLOX model algorithm. The detection speed reaches 75.93 FPS on the server. The model in this paper not only gives consideration to the detection speed but also improves the accuracy， which is significantly better than the comparison algorithm. It meets the requirements of edge computing equipment and has practical application value.

关键词

导盲系统障碍物检测亚像素CEFPNGAM角度损失SIOU

Keywords

blind systemobstacle detectionsubpixelCEFPNGAMangle lossSIOU

references

World Health Organization. World report on vision ［Z］. 2019.

高华，陈秀念，史伟云. 我国盲的患病率及主要致盲性疾病状况分析［J］. 中华眼科杂志，2019，55（8）：625-628． doi: 10.3760/cma.j.issn.0412-4081.2019.08.016http://dx.doi.org/10.3760/cma.j.issn.0412-4081.2019.08.016

GAO H， CHEN X N， SHI W Y. Analysis of the prevalence of blindness and major blinding diseases in China ［J］. Chinese Journal of Ophthalmology， 2019， 55（8）： 625-628. （in Chinese）. doi: 10.3760/cma.j.issn.0412-4081.2019.08.016http://dx.doi.org/10.3760/cma.j.issn.0412-4081.2019.08.016

何红杰. 视障者用自主循迹购物推车设计研究［D］. 上海：东华大学，2022．

HE H J. Research on the design of autonomous tracking shopping cart for visually impaired people ［D］. Shanghai： Donghua University， 2022. （in Chinese）

FERRAND S， ALOUGES F， AUSSAL M. An electronic travel aid device to help blind people playing sport ［J］. IEEE Instrumentation & Measurement Magazine， 2020， 23（4）： 14-21. doi: 10.1109/mim.2020.9126047http://dx.doi.org/10.1109/mim.2020.9126047

KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks ［J］. Communications of the ACM， 2017， 60（6）： 84-90. doi: 10.1145/3065386http://dx.doi.org/10.1145/3065386

LECUN Y， BENGIO Y， HINTON G. Deep learning ［J］. Nature， 2015， 521（7553）： 436-444. doi: 10.1038/nature14539http://dx.doi.org/10.1038/nature14539

GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation ［C］. 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH， USA： IEEE， 2014： 580-587. doi: 10.1109/cvpr.2014.81http://dx.doi.org/10.1109/cvpr.2014.81

GIRSHICK R. Fast R-CNN ［C］. 2015 IEEE International Conference on Computer Vision （ICCV）. Santiago， Chile： IEEE， 2015： 1440-1448. doi: 10.1109/iccv.2015.169http://dx.doi.org/10.1109/iccv.2015.169

REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149. doi: 10.1109/tpami.2016.2577031http://dx.doi.org/10.1109/tpami.2016.2577031

HE K M， GKIOXARI G， DOLLÁR P， et al. Mask R-CNN ［C］. 2017 IEEE International Conference on Computer Vision （ICCV）. Venice， Italy： IEEE， 2017： 2980-2988. doi: 10.1109/iccv.2017.322http://dx.doi.org/10.1109/iccv.2017.322

LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot MultiBox detector ［C］. 14th European Conference on Computer Vision. Amsterdam， The Netherlands： Springer， 2016： 21-37. doi: 10.1007/978-3-319-46448-0_2http://dx.doi.org/10.1007/978-3-319-46448-0_2

LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection ［C］. 2017 IEEE International Conference on Computer Vision. Venice， Italy： IEEE， 2017： 2999-3007. doi: 10.1109/iccv.2017.324http://dx.doi.org/10.1109/iccv.2017.324

REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas， NV， USA： IEEE， 2016： 779-788. doi: 10.1109/cvpr.2016.91http://dx.doi.org/10.1109/cvpr.2016.91

马永杰，宋晓凤. 基于YOLO和嵌入式系统的车流量检测［J］. 液晶与显示，2019，34（6）：613-618． doi: 10.3788/yjyxs20193406.0613http://dx.doi.org/10.3788/yjyxs20193406.0613

MA Y J， SONG X F. Vehicle flow detection based on YOLO and embedded system ［J］. Chinese Journal of Liquid Crystals and Displays， 2019， 34（6）： 613-618. （in Chinese）. doi: 10.3788/yjyxs20193406.0613http://dx.doi.org/10.3788/yjyxs20193406.0613

ZUO C， QIAN J M， FENG S J， et al. Deep learning in optical metrology： a review［J］. Light： Science & Applications， 2022， 11（1）： 39. doi: 10.1038/s41377-022-00714-xhttp://dx.doi.org/10.1038/s41377-022-00714-x

LUO Y， ZHAO Y F， LI J X， et al. Computational imaging without a computer： seeing through random diffusers at the speed of light［J］. eLight， 2022， 2（1）： 4. doi: 10.1186/s43593-022-00012-4http://dx.doi.org/10.1186/s43593-022-00012-4

SITU G. Deep holography ［J］. Light： Advanced Manufacturing， 2022， 3（2）： 278-300. doi: 10.37188/lam.2022.013http://dx.doi.org/10.37188/lam.2022.013

李文涛，张岩，莫锦秋，等. 基于改进YOLOv3-tiny的田间行人与农机障碍物检测［J］. 农业机械学报，2020，51（S1）：1-8，33． doi: 10.6041/j.issn.1000-1298.2020.S1.001http://dx.doi.org/10.6041/j.issn.1000-1298.2020.S1.001

LI W T， ZHANG Y， MO J Q， et al. Detection of pedestrian and agricultural vehicles in field based on improved YOLOv3-tiny ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（S1）： 1-8， 33. （in Chinese）. doi: 10.6041/j.issn.1000-1298.2020.S1.001http://dx.doi.org/10.6041/j.issn.1000-1298.2020.S1.001

HU J， SHEN L， SUN G. Squeeze-and-excitation networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT， USA： IEEE， 2018： 7132-7141. doi: 10.1109/cvpr.2018.00745http://dx.doi.org/10.1109/cvpr.2018.00745

WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module ［C］//Proceedings of the 15th European Conference on Computer Vision （ECCV）. Munich， Germany： Springer-Verlag， 2018： 3-19. doi: 10.1007/978-3-030-01234-2_1http://dx.doi.org/10.1007/978-3-030-01234-2_1

刘力，苟军年. 基于YOLOv4的铁道侵限障碍物检测方法研究［J］. 铁道科学与工程学报，2022，19（2）：528-536．

LIU L， GOU J N. Research on detection method of railway intrusion obstacles based on YOLOv4 ［J］. Journal of Railway Science and Engineering， 2022， 19（2）： 528-536. （in Chinese）

王海军，何艳，周豪，等. 基于YOLOv5网络模型对铁路轨道障碍物检测与识别［J］. 中国储运，2022（9）：86-87． doi: 10.3969/j.issn.1005-0434.2022.09.041http://dx.doi.org/10.3969/j.issn.1005-0434.2022.09.041

WANG H J， HE Y， ZHOU H， et al. Detection and recognition of railway track obstacles based on YOLOv5 network model ［J］. China Storage and Transport， 2022（9）： 86-87. （in Chinese）. doi: 10.3969/j.issn.1005-0434.2022.09.041http://dx.doi.org/10.3969/j.issn.1005-0434.2022.09.041

GE Z， LIU S T， WANG F， et al. YOLOX： Exceeding YOLO series in 2021 ［J/OL］. arXiv， 2021： 2107.08430.

WANG C Y， LIAO H Y M， WU Y H， et al. CSPNet： a new backbone that can enhance learning capability of CNN ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Seattle， WA， USA： IEEE， 2020： 1571-1580. doi: 10.1109/cvprw50498.2020.00203http://dx.doi.org/10.1109/cvprw50498.2020.00203

LIU S， QI L， QIN H F， et al. Path aggregation network for instance segmentation ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT， USA： IEEE， 2018： 8759-8768. doi: 10.1109/cvpr.2018.00913http://dx.doi.org/10.1109/cvpr.2018.00913

LUO Y H， CAO X， ZHANG J T， et al. CE-FPN： enhancing channel information for object detection ［J］. Multimedia Tools and Applications， 2022， 81（21）： 30685-30704. doi: 10.1007/s11042-022-11940-1http://dx.doi.org/10.1007/s11042-022-11940-1

MISRA D， NALAMADA T， ARASANIPALAI A U， et al. Rotate to attend： convolutional triplet attention module ［C］. 2021 IEEE Winter Conference on Applications of Computer Vision. Waikoloa， HI， USA： IEEE， 2021： 3138-3147. doi: 10.1109/wacv48630.2021.00318http://dx.doi.org/10.1109/wacv48630.2021.00318

REZATOFIGHI H， TSOI N， GWAK J Y， et al. Generalized intersection over union： a metric and a loss for bounding box regression ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach， CA， USA： IEEE， 2019： 658-666. doi: 10.1109/cvpr.2019.00075http://dx.doi.org/10.1109/cvpr.2019.00075

ZHENG Z H， WANG P， REN D W， et al. Enhancing geometric factors in model learning and inference for object detection and instance segmentation ［J］. IEEE Transactions on Cybernetics， 2022， 52（8）： 8574-8586. doi: 10.1109/tcyb.2021.3095305http://dx.doi.org/10.1109/tcyb.2021.3095305

GEVORGYAN Z. SIoU Loss： More powerful learning for bounding box regression ［J/OL］. arXiv， 2022： 2205.12740.

ZHANG H Y， WANG Y， DAYOUB F， et al. VarifocalNet： an IoU-aware dense object detector ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville， TN， USA： IEEE， 2021： 8510-8519. doi: 10.1109/cvpr46437.2021.00841http://dx.doi.org/10.1109/cvpr46437.2021.00841

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于YOLO框架的轻量化高精度目标检测算法

数字域斜模态时间延迟积分技术