A-LinkNet：注意力与空间信息融合的语义分割网络

杜敏敏; 司马海峰

doi:10.37188/CJLCD.2022-0046

您当前的位置：

首页 >

文章列表页 >

A-LinkNet：注意力与空间信息融合的语义分割网络

图像处理 | 更新时间：2022-12-07

- A-LinkNet：注意力与空间信息融合的语义分割网络
- A-LinkNet： semantic segmentation network based on attention and spatial information fusion
- 液晶与显示 2022年37卷第9期页码：1199-1208
- 作者机构：
  
  河南理工大学计算机学院，河南焦作 454000
- 作者简介：
  
  [ "杜敏敏（1996—），女，山东泰安人，硕士研究生，2019年于聊城大学获得学士学位，主要从事图像分割、模式识别方面的研究。E-mail： duminmin0131@163.com" ]
  [ "司马海峰（1982—），男，河南濮阳人，博士，副教授，2015年于北京理工大学获得博士学位，主要从事图像处理、机器学习与人工智能方面的研究。E-mail： smhf@hpu.edu.cn" ]
- 基金信息：
  
  国家自然科学基金(61602157);河南省科技攻关项目(202102210167)
- DOI：10.37188/CJLCD.2022-0046
  中图分类号： TP391
- 收稿日期：2022-02-05，
  
  修回日期：2022-03-03，
  
  纸质出版日期：2022-09-05
- 稿件说明：
移动端阅览
杜敏敏, 司马海峰. A-LinkNet：注意力与空间信息融合的语义分割网络[J]. 液晶与显示, 2022,37(9):1199-1208.

DU Min-min, SIMA Hai-feng. A-LinkNet： semantic segmentation network based on attention and spatial information fusion[J]. Chinese journal of liquid crystals and displays, 2022, 37(9): 1199-1208.
杜敏敏, 司马海峰. A-LinkNet：注意力与空间信息融合的语义分割网络[J]. 液晶与显示, 2022,37(9):1199-1208. DOI： 10.37188/CJLCD.2022-0046.

DU Min-min, SIMA Hai-feng. A-LinkNet： semantic segmentation network based on attention and spatial information fusion[J]. Chinese journal of liquid crystals and displays, 2022, 37(9): 1199-1208. DOI： 10.37188/CJLCD.2022-0046.

摘要

针对道路图像语义分割中上下文信息不足以及空间细节信息易丢失等问题，本文提出一种基于LinkNet模型的实时分割方法。首先，在编码区域构建一种新的注意力机制，捕获道路图像的位置以及通道依赖，增加目标特征的提取能力。然后，在中心区域引入空洞空间金字塔池化模型，在不影响图像分辨率的情况下捕获更加丰富的多尺度特征。在通用数据库上的实验结果表明，所提方法在Cityscapes数据集上MIoU达到了64.78%，与LinkNet相比较，提高了5.01%，同时对于细小目标物体以及边界分割视觉效果有明显的改善，分割准确率获得了较大提升。

Abstract

To address insufficient contextual information and partial loss of spatial detail information in semantic segmentation of road images， a real-time segmentation method is proposed based on LinkNet. Firstly， a new attention mechanism is constructed in the encoding to capture the location and channel dependence of road images to increase the extraction capability of target features. Then， an atrous spatial pyramid pooling is introduced in the central region to capture richer multi-scale features without affecting image resolution. The experimental results on the general database show that the proposed method achieves 64.78% MIoU on the Cityscapes dataset， which is 5.01% higher in comparison with LinkNet. And it can significantly improve the visual effect of fine target objects and boundary segmentation， and the segmentation accuracy has been greatly improved.

关键词

Keywords

references

王曦，于鸣，任洪娥 . UNET与FPN相结合的遥感图像语义分割［J］. 液晶与显示， 2021 ， 36 （ 3 ）： 475 - 483 . doi: 10.37188/CJLCD.2020-0116 http://dx.doi.org/10.37188/CJLCD.2020-0116

WANG X ， YU M ， REN H E . Remote sensing image semantic segmentation combining UNET and FPN ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 3 ）： 475 - 483 . （in Chinese） . doi: 10.37188/CJLCD.2020-0116 http://dx.doi.org/10.37188/CJLCD.2020-0116

毛威 . 基于深度学习的城市街景图像语义分割研究［D］. 成都：西南交通大学， 2019 .

MAO W . Semantic segmentation research of urban scenes based on deep learning ［D］. Chengdu ： Southwest Jiaotong University ， 2019 . （in Chinese）

LONG J ， SHELHAMER E ， DARREL T . Fully convolutional networks for semantic segmentation ［C］// Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition . Boston， USA ： IEEE ， 2015 ： 3431 - 3440 . doi: 10.1109/cvpr.2015.7298965 http://dx.doi.org/10.1109/cvpr.2015.7298965

RONNEBERGER O ， FISCHER P ， BROX T . U-Net： convolutional networks for biomedical image segmentation ［C］// Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention . Munich ： Springer ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

BADRINARAYANAN V ， KENDALL A ， CIPOLLA R . SegNet： a deep convolutional encoder-decoder architecture for image segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 12 ）： 2481 - 2495 . doi: 10.1109/tpami.2016.2644615 http://dx.doi.org/10.1109/tpami.2016.2644615

PASZKE A ， CHAURASIA A ， KIM S ， et al . ENet： a deep neural network architecture for real-time semantic segmentation ［J］. arXiv ， 2016 ： 1606 .02147.

WANG Y ， ZHOU Q ， LIU J ， et al . Lednet： a lightweight encoder-decoder network for real-time semantic segmentation ［C］// Proceedings of 2019 IEEE International Conference on Image Processing （ICIP） . Taipei， China ： IEEE ， 2019 ： 1860 - 1864 . doi: 10.1109/icip.2019.8803154 http://dx.doi.org/10.1109/icip.2019.8803154

YU F ， KOLTUN V . Multi-scale context aggregation by dilated convolutions ［J］. arXiv ， 2015 ： 1511 .07122.

WANG P Q ， CHEN P F ， YUAN Y ， et al . Understanding convolution for semantic segmentation ［C］// Proceedings of 2018 IEEE Winter Conference on Applications of Computer Vision （WACV） . Lake Tahoe ： IEEE ， 2018 ： 1451 - 1460 . doi: 10.1109/wacv.2018.00163 http://dx.doi.org/10.1109/wacv.2018.00163

CHEN L C ， PAPANDREOU G ， KOKKINOS I ， et al . DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2018 ， 40 （ 4 ）： 834 - 848 . doi: 10.1109/tpami.2017.2699184 http://dx.doi.org/10.1109/tpami.2017.2699184

CHEN L C ， PAPANDREOU G ， SCHROFF F ， et al . Rethinking atrous convolution for semantic image segmentation ［J］. arXiv preprint arXiv： 1706.05587 ， 2017 . doi: 10.1007/978-3-030-01234-2_49 http://dx.doi.org/10.1007/978-3-030-01234-2_49

HU J ， SHEN L ， SUN G . Squeeze-and-excitation networks ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 7132 - 7141 . doi: 10.1109/cvpr.2018.00745 http://dx.doi.org/10.1109/cvpr.2018.00745

WOO S ， PARK J ， LEE J Y ， et al . CBAM： convolutional block attention module ［C］// Proceedings of the 15th European Conference on Computer Vision . Munich ： Springer ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

FU J ， LIU J ， TIAN H J ， et al . Dual attention network for scene segmentation ［C］// Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2019 ： 3141 - 3149 . doi: 10.1109/cvpr.2019.00326 http://dx.doi.org/10.1109/cvpr.2019.00326

CHAURASIA A ， CULURCIELLO E . LinkNet： exploiting encoder representations for efficient semantic segmentation ［C］// Proceedings of 2017 IEEE Visual Communications and Image Processing （VCIP） . St . Petersburg ： IEEE ， 2017 ： 1 - 4 . doi: 10.1109/vcip.2017.8305148 http://dx.doi.org/10.1109/vcip.2017.8305148

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

ZHOU L C ， ZHANG C ， WU M . D-LinkNet： LinkNet with pretrained encoder and dilated convolution for high resolution satellite imagery road extraction ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops . Salt Lake City ： IEEE ， 2018 ： 182 - 186 . doi: 10.1109/cvprw.2018.00034 http://dx.doi.org/10.1109/cvprw.2018.00034

PENG B ， LI Y X ， FAN K L ， et al . New network based on D-Linknet and densenet for high resolution satellite imagery road extraction ［C］// Proceedings of the IGARSS 2019—2019 IEEE International Geoscience and Remote Sensing Symposium . Yokohama ： IEEE ， 2019 ： 3939 - 3942 . doi: 10.1109/igarss.2019.8898640 http://dx.doi.org/10.1109/igarss.2019.8898640

HUANG G ， LIU Z ， MAATEN LVAN DER ， et al . Densely connected convolutional networks ［C］// Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu ： IEEE ， 2017 ： 2261 - 2269 . doi: 10.1109/cvpr.2017.243 http://dx.doi.org/10.1109/cvpr.2017.243

CORDTS M ， OMRAN M ， RAMOS S ， et al . The cityscapes dataset for semantic urban scene understanding ［C］// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 3213 - 3223 . doi: 10.1109/cvpr.2016.350 http://dx.doi.org/10.1109/cvpr.2016.350

KINGMA D P ， BA J . Adam： a method for stochastic optimization ［J］. arXiv ， 2014 ： 1412 .6980.

浏览量

277

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于自适应遮挡恢复与拓扑姿态双向感知的三维手部重建方法

基于头部和整体信息联合的多尺度行人检测算法

基于改进YOLOv8n-Pose的疲劳驾驶检测

结合高效注意力机制的神经架构搜索高光谱图像分类