基于多尺度融合注意力改进UNet的遥感图像水体分割

石甜甜; 郭中华; 闫翔; 魏士钦

doi:10.37188/CJLCD.2022-0232

您当前的位置：

首页 >

文章列表页 >

基于多尺度融合注意力改进UNet的遥感图像水体分割

图像处理 | 更新时间：2023-03-15

- 基于多尺度融合注意力改进UNet的遥感图像水体分割
- Water body segmentation in remote sensing images based on multi-scale fusion attention module improved UNet
- 液晶与显示 2023年38卷第3期页码：397-408
- 作者机构：
  
  1.宁夏大学物理与电子电气工程学院，宁夏银川 750021
  2.宁夏大学沙漠信息智能感知重点实验室，宁夏银川 750021
- 作者简介：
  
  [ "石甜甜（1997—），女，山东聊城人，硕士研究生，2019年于山东理工大学获得学士学位，主要从事遥感图像处理和深度学习算法方面的研究。E-mail：12020130595@stu.nxu.edu.cn" ]
  [ "郭中华（1973—），男，山东临朐人，博士，教授，2010年于西北工业大学获得博士学位，主要从事遥感图像处理、高光谱图像技术、机器视觉等方面的研究。E-mail：guozhh@nxu.edu.cn" ]
- 基金信息：
  
  宁夏自然科学基金(2020AAC03026);宁夏大学研究生创新研究项目(GIP2021006;CXXM202221)
- DOI：10.37188/CJLCD.2022-0232
  中图分类号： TP753;TP391
- 收稿日期：2022-07-07，
  
  修回日期：2022-07-19，
  
  纸质出版日期：2023-03-05
- 稿件说明：
移动端阅览
石甜甜, 郭中华, 闫翔, 等. 基于多尺度融合注意力改进UNet的遥感图像水体分割[J]. 液晶与显示, 2023,38(3):397-408.

SHI Tian-tian, GUO Zhong-hua, YAN Xiang, et al. Water body segmentation in remote sensing images based on multi-scale fusion attention module improved UNet[J]. Chinese journal of liquid crystals and displays, 2023, 38(3): 397-408.
石甜甜, 郭中华, 闫翔, 等. 基于多尺度融合注意力改进UNet的遥感图像水体分割[J]. 液晶与显示, 2023,38(3):397-408. DOI： 10.37188/CJLCD.2022-0232.

SHI Tian-tian, GUO Zhong-hua, YAN Xiang, et al. Water body segmentation in remote sensing images based on multi-scale fusion attention module improved UNet[J]. Chinese journal of liquid crystals and displays, 2023, 38(3): 397-408. DOI： 10.37188/CJLCD.2022-0232.

摘要

针对遥感图像水体分割任务，提出了一种多尺度融合注意力模块改进的UNet网络——A-MSFAM-UNet，该方法在GF-2遥感图像水体分割任务中实现了端到端高分辨率遥感图像水体分割。首先，针对以往注意力模块全局池化操作带来的局部信息不敏感问题，设计了一种多尺度融合注意力模块（MSFAM），该模块使用点卷积融合通道全局信息、深度可分离卷积弥补全局池化造成的信息丢失。MSFAM用于UNet跳跃连接后的特征融合部分重新分配特征点权重以提高特征融合效率，增强网络获取不同尺度信息的能力。其次，空洞卷积用于VGG16主干网络扩展感受野，在不损失分辨率的情况下聚合全局信息。结果表明，A-MSFAM-UNet优于其他通道注意力（SENet、ECANet）改进的UNet，在GF-2水体分割数据集上平均交并比（MIoU）、平均像素精度（MPA）和准确率（Acc）分别达到了96.02%、97.98%和99.26%。

Abstract

A multi-scale fusion attention module improved UNet network is proposed for the water body segmentation task of remote sensing images， A-MSFAM-UNet， which achieves end-to-end high-resolution remote sensing images in the GF-2 remote sensing image water body segmentation task. Firstly， aiming at insensitivity of local information caused by global pooling operation of previous attention module， a multi-scale fusion attention module （MSFAM） is designed， which uses point convolution to fuse channel global information and depthwise separable convolution. The loss of information caused by global pooling is made up. MSFAM is adopted to redistribute the weights of feature points after UNet skip connection to improve the efficiency of feature fusion and enhance network ability to obtain information at different scales. Secondly， the atrous convolution is applied to VGG16 backbone network to expand receptive field and aggregate global information without loss of resolution. The results show that A-MSFAM-UNet outperforms other channel attention （SENet， ECANet） improved UNet， and achieves mean intersection over union（MIoU）、mean pixel accruary（MPA） and accuracy（Acc） of 96.02%， 97.98% and 99.26% on the GF-2 water body segmentation dataset.

关键词

Keywords

references

VÖRÖSMARTY C J ， GREEN P A ， SALISBURY J ， et al . Global water resources： vulnerability from climate change and population growth ［J］. Science ， 2000 ， 289 （ 5477 ）： 284 - 288 . doi: 10.1126/science.289.5477.284 http://dx.doi.org/10.1126/science.289.5477.284

王正，杜军，王超，等 . 城市水体信息光学遥感提取方法研究进展报告［J］. 华中师范大学学报（自然科学版）， 2021 ， 55 （ 4 ）： 620 - 629 ． doi: 10.19603/j.cnki.1000-1190.2021.04.017 http://dx.doi.org/10.19603/j.cnki.1000-1190.2021.04.017

WANG Z ， DU J ， WANG C ， et al . Research progress report on urban water information extraction methods by using remote sensing way ［J］. Journal of Central China Normal University （Natural Sciences）， 2021 ， 55 （ 4 ）： 620 - 629 . （in Chinese） . doi: 10.19603/j.cnki.1000-1190.2021.04.017 http://dx.doi.org/10.19603/j.cnki.1000-1190.2021.04.017

PEKEL J F ， VANCUTSEM C ， BASTIN L ， et al . A near real-time water surface detection method based on HSV transformation of MODIS multi-spectral time series data ［J］. Remote Sensing of Environment ， 2014 ， 140 ： 704 - 716 . doi: 10.1016/j.rse.2013.10.008 http://dx.doi.org/10.1016/j.rse.2013.10.008

MCFEETERS S K . The use of the Normalized Difference Water Index （NDWI） in the delineation of open water features ［J］. International Journal of Remote Sensing ， 1996 ， 17 （ 7 ）： 1425 - 1432 . doi: 10.1080/01431169608948714 http://dx.doi.org/10.1080/01431169608948714

FEYISA G L ， MEILBY H ， FENSHOLT R ， et al . Automated water extraction index： a new technique for surface water mapping using Landsat imagery ［J］. Remote Sensing of Environment ， 2014 ， 140 ： 23 - 35 . doi: 10.1016/j.rse.2013.08.029 http://dx.doi.org/10.1016/j.rse.2013.08.029

FISHER A ， FLOOD N ， DANAHER T . Comparing Landsat water index methods for automated water classification in eastern Australia ［J］. Remote Sensing of Environment ， 2016 ， 175 ： 167 - 182 . doi: 10.1016/j.rse.2015.12.055 http://dx.doi.org/10.1016/j.rse.2015.12.055

ZHU X X ， TUIA D ， MOU L C ， et al . Deep learning in remote sensing： a comprehensive review and list of resources ［J］. IEEE Geoscience and Remote Sensing Magazine ， 2017 ， 5 （ 4 ）： 8 - 36 . doi: 10.1109/mgrs.2017.2762307 http://dx.doi.org/10.1109/mgrs.2017.2762307

ZUO C ， QIAN J M ， FENG S J ， et al . Deep learning in optical metrology： a review ［J］. Light： Science & Applications ， 2022 ， 11 （ 1 ）： 39 . doi: 10.1038/s41377-022-00714-x http://dx.doi.org/10.1038/s41377-022-00714-x

CHENG G ， XIE X X ， HAN J W ， et al . Remote sensing image scene classification meets deep learning： challenges， methods， benchmarks， and opportunities ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2020 ， 13 ： 3735 - 3756 . doi: 10.1109/jstars.2020.3005403 http://dx.doi.org/10.1109/jstars.2020.3005403

RONNEBERGER O ， FISCHER P ， BROX T . U-Net： convolutional networks for biomedical image segmentation ［C］// Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention . Munich ： Springer ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

LI J T ， XU M L ， XIU H L . U-net network for building information extraction of remote-sensing imagery ［J］. International Journal of Online and Biomedical Engineering ， 2018 ， 14 （ 12 ）： 179 - 190 . doi: 10.3991/ijoe.v14i12.9335 http://dx.doi.org/10.3991/ijoe.v14i12.9335

SHAMSOLMOALI P ， ZAREAPOOR M ， WANG R L ， et al . A novel deep structure U-Net for sea-land segmentation in remote sensing images ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2019 ， 12 （ 9 ）： 3219 - 3232 . doi: 10.1109/jstars.2019.2925841 http://dx.doi.org/10.1109/jstars.2019.2925841

LI R ， ZHENG S Y ， DUAN C X ， et al . Multistage attention ResU-Net for semantic segmentation of fine-resolution remote sensing images ［J］. IEEE Geoscience and Remote Sensing Letters ， 2021 ， 19 ： 8009205 . doi: 10.1109/lgrs.2021.3063381 http://dx.doi.org/10.1109/lgrs.2021.3063381

SU Z B ， LI W ， MA Z ， et al . An improved U-Net method for the semantic segmentation of remote sensing images ［J］. Applied Intelligence ， 2022 ， 52 （ 3 ）： 3276 - 3288 . doi: 10.1007/s10489-021-02542-9 http://dx.doi.org/10.1007/s10489-021-02542-9

NEUPANE B ， HORANONT T ， ARYAL J . Deep learning-based semantic segmentation of urban features in satellite images： a review and meta-analysis ［J］. Remote Sensing ， 2021 ， 13 （ 4 ）： 808 . doi: 10.3390/rs13040808 http://dx.doi.org/10.3390/rs13040808

GUO M H ， XU T X ， LIU J J ， et al . Attention mechanisms in computer vision： a survey ［J］. Computational Visual Media ， 2022 ， 8 （ 3 ）： 331 - 368 . doi: 10.1007/s41095-022-0271-y http://dx.doi.org/10.1007/s41095-022-0271-y

LI L Y ， LI X Y ， LIU X ， et al . Attention mechanism cloud detection with modified FCN for infrared remote sensing images ［J］. IEEE Access ， 2021 ， 9 ： 150975 - 150983 . doi: 10.1109/access.2021.3122162 http://dx.doi.org/10.1109/access.2021.3122162

兰旭婷，郭中华，李昌昊．基于注意力与特征融合的光学遥感图像飞机目标检测［J］．液晶与显示， 2021 ， 36 （ 11 ）： 1506 - 1515 ． doi: 10.37188/CJLCD.2021-0088 http://dx.doi.org/10.37188/CJLCD.2021-0088

LAN X T ， GUO Z H ， LI C H . Attention and feature fusion for aircraft target detection in optical remote sensing images ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 11 ）： 1506 - 1515 . （in Chinese） . doi: 10.37188/CJLCD.2021-0088 http://dx.doi.org/10.37188/CJLCD.2021-0088

ZHENG H H ， GONG M G ， LIU T F ， et al . HFA-Net： high frequency attention siamese network for building change detection in VHR remote sensing images ［J］. Pattern Recognition ， 2022 ， 129 ： 108717 . doi: 10.1016/j.patcog.2022.108717 http://dx.doi.org/10.1016/j.patcog.2022.108717

李传林，黄风华，胡威，等 . 基于Res_AttentionUnet的高分辨率遥感影像建筑物提取方法［J］．地球信息科学学报， 2021 ， 23 （ 12 ）： 2232 - 2243 ． doi: 10.12082/dqxxkx.2021.210008 http://dx.doi.org/10.12082/dqxxkx.2021.210008

LI C L ， HUANG F H ， HU W ， et al . Building extraction from high-resolution remote sensing image based on res＿AttentionUnet ［J］. Journal of Geo-information Science ， 2021 ， 23 （ 12 ）： 2232 - 2243 . （in Chinese） . doi: 10.12082/dqxxkx.2021.210008 http://dx.doi.org/10.12082/dqxxkx.2021.210008

HE Y ， YAO S ， YANG W ， et al . An extraction method for glacial lakes based on Landsat-8 imagery using an improved U-Net network ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2021 ， 14 ： 6544 - 6558 . doi: 10.1109/jstars.2021.3085397 http://dx.doi.org/10.1109/jstars.2021.3085397

YAN S ， XU L L ， YU G J ， et al . Glacier classification from Sentinel-2 imagery using spatial-spectral attention convolutional model ［J］. International Journal of Applied Earth Observation and Geoinformation ， 2021 ， 102 ： 102445 . doi: 10.1016/j.jag.2021.102445 http://dx.doi.org/10.1016/j.jag.2021.102445

周文舟，范晨，胡小平，等．多尺度奇异值分解的偏振图像融合去雾算法与实验［J］．中国光学， 2021 ， 14 （ 2 ）： 298 - 306 ． doi: 10.37188/CO.2020-0099 http://dx.doi.org/10.37188/CO.2020-0099

ZHOU W Z ， FAN C ， HU X P ， et al . Multi-scale singular value decomposition polarization image fusion defogging algorithm and experiment ［J］. Chinese Optics ， 2021 ， 14 （ 2 ）： 298 - 306 . （in Chinese） . doi: 10.37188/CO.2020-0099 http://dx.doi.org/10.37188/CO.2020-0099

陈欣，万敏杰，马超，等．采用多尺度特征融合SSD的遥感图像小目标检测［J］．光学精密工程， 2021 ， 29 （ 11 ）： 2672 - 2682 ． doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

CHEN X ， WAN M J ， MA C ， et al . Recognition of small targets in remote sensing image using multi-scale feature fusion-based shot multi-box detector ［J］. Optics and Precision Engineering ， 2021 ， 29 （ 11 ）： 2672 - 2682 . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

SIFRE L ， MALLAT S . Rigid-motion scattering for texture classification ［J/OL］. arXiv ， 2014 ： 1403 . 1687 . doi: 10.1109/cvpr.2013.163 http://dx.doi.org/10.1109/cvpr.2013.163

CHEN L C ， PAPANDREOU G ， SCHROFF F ， et al . Rethinking atrous convolution for semantic image segmentation ［J/OL］. arXiv ， 2017 ： 1706 . 05587 . doi: 10.1007/978-3-030-01234-2_49 http://dx.doi.org/10.1007/978-3-030-01234-2_49

SIMONYAN K ， ZISSERMAN A . Very deep convolutional networks for large-scale image recognition ［C］// Proceedings of the 3rd International Conference on Learning Representations . San Diego ： ICLR ， 2014 .

潘腾．高分二号卫星的技术特点［J］．中国航天， 2015 （ 1 ）： 3 - 9 ． doi: JournalArticle/5b3b7318c095d70f0075e273 http://dx.doi.org/JournalArticle/5b3b7318c095d70f0075e273

PAN T . Technical characteristics of Gaofen-2 satellite ［J］. Aerospace China ， 2015 （ 1 ）： 3 - 9 . （in Chinese） . doi: JournalArticle/5b3b7318c095d70f0075e273 http://dx.doi.org/JournalArticle/5b3b7318c095d70f0075e273

HU J ， SHEN L ， SUN G . Squeeze-and-excitation networks ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 7132 - 7141 . doi: 10.1109/cvpr.2018.00745 http://dx.doi.org/10.1109/cvpr.2018.00745

WANG Q L ， WU B G ， ZHU P F ， et al . ECA-Net： efficient channel attention for deep convolutional neural networks ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle ： IEEE ， 2020 ： 13 - 19 . doi: 10.1109/cvpr42600.2020.01155 http://dx.doi.org/10.1109/cvpr42600.2020.01155

LIU W ， RABINOVICH A ， BERG A C . Parsenet： looking wider to see better ［J/OL］. arXiv ， 2015 ： 1506 . 04579 .

DAI Y M ， GIESEKE F ， OEHMCKE S ， et al . Attentional feature fusion ［C］// Proceedings of 2021 IEEE Winter Conference on Applications of Computer Vision . Waikoloa ： IEEE ， 2021 ： 3559 - 3568 . doi: 10.1109/wacv48630.2021.00360 http://dx.doi.org/10.1109/wacv48630.2021.00360

WANG Z B ， GAO X ， ZHANG Y N ， et al . MSLWENet： a novel deep learning network for lake water body extraction of Google remote sensing images ［J］. Remote Sensing ， 2020 ， 12 （ 24 ）： 4140 . doi: 10.3390/rs12244140 http://dx.doi.org/10.3390/rs12244140

WOO S ， PARK J ， LEE J Y ， et al . CBAM： convolutional block attention module ［C］// Proceedings of the 15th European Conference on Computer Vision . Munich ： Springer ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

浏览量

249

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

改进SSD的飞机遥感图像目标检测

基于注意力与特征融合的光学遥感图像飞机目标检测