Water body segmentation in remote sensing images based on multi-scale fusion attention module improved UNet

SHI Tian-tian; GUO Zhong-hua; YAN Xiang; WEI Shi-qin

doi:10.37188/CJLCD.2022-0232

您当前的位置：

首页 >

文章列表页 >

Water body segmentation in remote sensing images based on multi-scale fusion attention module improved UNet

Image Processing | 更新时间：2023-03-15

- Water body segmentation in remote sensing images based on multi-scale fusion attention module improved UNet
- Chinese Journal of Liquid Crystals and Displays Vol. 38, Issue 3, Pages: 397-408(2023)
- 作者机构：
  
  1.宁夏大学物理与电子电气工程学院，宁夏银川 750021
  2.宁夏大学沙漠信息智能感知重点实验室，宁夏银川 750021
- 作者简介：
- 基金信息：
  
  Natural Science Foundation of Ningxia Hui Autonomous Region(2020AAC03026);Ningxia University Graduate Innovation Research Project(GIP2021006;CXXM202221)
- DOI：10.37188/CJLCD.2022-0232
  CLC： TP753;TP391
- Received：07 July 2022，
  
  Revised：19 July 2022，
  
  Published：05 March 2023
- 稿件说明：
移动端阅览
SHI Tian-tian, GUO Zhong-hua, YAN Xiang, et al. Water body segmentation in remote sensing images based on multi-scale fusion attention module improved UNet[J]. Chinese journal of liquid crystals and displays, 2023, 38(3): 397-408.
DOI：

SHI Tian-tian, GUO Zhong-hua, YAN Xiang, et al. Water body segmentation in remote sensing images based on multi-scale fusion attention module improved UNet[J]. Chinese journal of liquid crystals and displays, 2023, 38(3): 397-408. DOI： 10.37188/CJLCD.2022-0232.

摘要

针对遥感图像水体分割任务，提出了一种多尺度融合注意力模块改进的UNet网络——A-MSFAM-UNet，该方法在GF-2遥感图像水体分割任务中实现了端到端高分辨率遥感图像水体分割。首先，针对以往注意力模块全局池化操作带来的局部信息不敏感问题，设计了一种多尺度融合注意力模块（MSFAM），该模块使用点卷积融合通道全局信息、深度可分离卷积弥补全局池化造成的信息丢失。MSFAM用于UNet跳跃连接后的特征融合部分重新分配特征点权重以提高特征融合效率，增强网络获取不同尺度信息的能力。其次，空洞卷积用于VGG16主干网络扩展感受野，在不损失分辨率的情况下聚合全局信息。结果表明，A-MSFAM-UNet优于其他通道注意力（SENet、ECANet）改进的UNet，在GF-2水体分割数据集上平均交并比（MIoU）、平均像素精度（MPA）和准确率（Acc）分别达到了96.02%、97.98%和99.26%。

Abstract

A multi-scale fusion attention module improved UNet network is proposed for the water body segmentation task of remote sensing images， A-MSFAM-UNet， which achieves end-to-end high-resolution remote sensing images in the GF-2 remote sensing image water body segmentation task. Firstly， aiming at insensitivity of local information caused by global pooling operation of previous attention module， a multi-scale fusion attention module （MSFAM） is designed， which uses point convolution to fuse channel global information and depthwise separable convolution. The loss of information caused by global pooling is made up. MSFAM is adopted to redistribute the weights of feature points after UNet skip connection to improve the efficiency of feature fusion and enhance network ability to obtain information at different scales. Secondly， the atrous convolution is applied to VGG16 backbone network to expand receptive field and aggregate global information without loss of resolution. The results show that A-MSFAM-UNet outperforms other channel attention （SENet， ECANet） improved UNet， and achieves mean intersection over union（MIoU）、mean pixel accruary（MPA） and accuracy（Acc） of 96.02%， 97.98% and 99.26% on the GF-2 water body segmentation dataset.

关键词

Keywords

references

VÖRÖSMARTY C J ， GREEN P A ， SALISBURY J ， et al . Global water resources： vulnerability from climate change and population growth ［J］. Science ， 2000 ， 289 （ 5477 ）： 284 - 288 . doi: 10.1126/science.289.5477.284 http://dx.doi.org/10.1126/science.289.5477.284

王正，杜军，王超，等 . 城市水体信息光学遥感提取方法研究进展报告［J］. 华中师范大学学报（自然科学版）， 2021 ， 55 （ 4 ）： 620 - 629 ． doi: 10.19603/j.cnki.1000-1190.2021.04.017 http://dx.doi.org/10.19603/j.cnki.1000-1190.2021.04.017

WANG Z ， DU J ， WANG C ， et al . Research progress report on urban water information extraction methods by using remote sensing way ［J］. Journal of Central China Normal University （Natural Sciences）， 2021 ， 55 （ 4 ）： 620 - 629 . （in Chinese） . doi: 10.19603/j.cnki.1000-1190.2021.04.017 http://dx.doi.org/10.19603/j.cnki.1000-1190.2021.04.017

PEKEL J F ， VANCUTSEM C ， BASTIN L ， et al . A near real-time water surface detection method based on HSV transformation of MODIS multi-spectral time series data ［J］. Remote Sensing of Environment ， 2014 ， 140 ： 704 - 716 . doi: 10.1016/j.rse.2013.10.008 http://dx.doi.org/10.1016/j.rse.2013.10.008

MCFEETERS S K . The use of the Normalized Difference Water Index （NDWI） in the delineation of open water features ［J］. International Journal of Remote Sensing ， 1996 ， 17 （ 7 ）： 1425 - 1432 . doi: 10.1080/01431169608948714 http://dx.doi.org/10.1080/01431169608948714

FEYISA G L ， MEILBY H ， FENSHOLT R ， et al . Automated water extraction index： a new technique for surface water mapping using Landsat imagery ［J］. Remote Sensing of Environment ， 2014 ， 140 ： 23 - 35 . doi: 10.1016/j.rse.2013.08.029 http://dx.doi.org/10.1016/j.rse.2013.08.029

FISHER A ， FLOOD N ， DANAHER T . Comparing Landsat water index methods for automated water classification in eastern Australia ［J］. Remote Sensing of Environment ， 2016 ， 175 ： 167 - 182 . doi: 10.1016/j.rse.2015.12.055 http://dx.doi.org/10.1016/j.rse.2015.12.055

ZHU X X ， TUIA D ， MOU L C ， et al . Deep learning in remote sensing： a comprehensive review and list of resources ［J］. IEEE Geoscience and Remote Sensing Magazine ， 2017 ， 5 （ 4 ）： 8 - 36 . doi: 10.1109/mgrs.2017.2762307 http://dx.doi.org/10.1109/mgrs.2017.2762307

ZUO C ， QIAN J M ， FENG S J ， et al . Deep learning in optical metrology： a review ［J］. Light： Science & Applications ， 2022 ， 11 （ 1 ）： 39 . doi: 10.1038/s41377-022-00714-x http://dx.doi.org/10.1038/s41377-022-00714-x

CHENG G ， XIE X X ， HAN J W ， et al . Remote sensing image scene classification meets deep learning： challenges， methods， benchmarks， and opportunities ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2020 ， 13 ： 3735 - 3756 . doi: 10.1109/jstars.2020.3005403 http://dx.doi.org/10.1109/jstars.2020.3005403

RONNEBERGER O ， FISCHER P ， BROX T . U-Net： convolutional networks for biomedical image segmentation ［C］// Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention . Munich ： Springer ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

LI J T ， XU M L ， XIU H L . U-net network for building information extraction of remote-sensing imagery ［J］. International Journal of Online and Biomedical Engineering ， 2018 ， 14 （ 12 ）： 179 - 190 . doi: 10.3991/ijoe.v14i12.9335 http://dx.doi.org/10.3991/ijoe.v14i12.9335

SHAMSOLMOALI P ， ZAREAPOOR M ， WANG R L ， et al . A novel deep structure U-Net for sea-land segmentation in remote sensing images ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2019 ， 12 （ 9 ）： 3219 - 3232 . doi: 10.1109/jstars.2019.2925841 http://dx.doi.org/10.1109/jstars.2019.2925841

LI R ， ZHENG S Y ， DUAN C X ， et al . Multistage attention ResU-Net for semantic segmentation of fine-resolution remote sensing images ［J］. IEEE Geoscience and Remote Sensing Letters ， 2021 ， 19 ： 8009205 . doi: 10.1109/lgrs.2021.3063381 http://dx.doi.org/10.1109/lgrs.2021.3063381

SU Z B ， LI W ， MA Z ， et al . An improved U-Net method for the semantic segmentation of remote sensing images ［J］. Applied Intelligence ， 2022 ， 52 （ 3 ）： 3276 - 3288 . doi: 10.1007/s10489-021-02542-9 http://dx.doi.org/10.1007/s10489-021-02542-9

NEUPANE B ， HORANONT T ， ARYAL J . Deep learning-based semantic segmentation of urban features in satellite images： a review and meta-analysis ［J］. Remote Sensing ， 2021 ， 13 （ 4 ）： 808 . doi: 10.3390/rs13040808 http://dx.doi.org/10.3390/rs13040808

GUO M H ， XU T X ， LIU J J ， et al . Attention mechanisms in computer vision： a survey ［J］. Computational Visual Media ， 2022 ， 8 （ 3 ）： 331 - 368 . doi: 10.1007/s41095-022-0271-y http://dx.doi.org/10.1007/s41095-022-0271-y

LI L Y ， LI X Y ， LIU X ， et al . Attention mechanism cloud detection with modified FCN for infrared remote sensing images ［J］. IEEE Access ， 2021 ， 9 ： 150975 - 150983 . doi: 10.1109/access.2021.3122162 http://dx.doi.org/10.1109/access.2021.3122162

兰旭婷，郭中华，李昌昊．基于注意力与特征融合的光学遥感图像飞机目标检测［J］．液晶与显示， 2021 ， 36 （ 11 ）： 1506 - 1515 ． doi: 10.37188/CJLCD.2021-0088 http://dx.doi.org/10.37188/CJLCD.2021-0088

LAN X T ， GUO Z H ， LI C H . Attention and feature fusion for aircraft target detection in optical remote sensing images ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 11 ）： 1506 - 1515 . （in Chinese） . doi: 10.37188/CJLCD.2021-0088 http://dx.doi.org/10.37188/CJLCD.2021-0088

ZHENG H H ， GONG M G ， LIU T F ， et al . HFA-Net： high frequency attention siamese network for building change detection in VHR remote sensing images ［J］. Pattern Recognition ， 2022 ， 129 ： 108717 . doi: 10.1016/j.patcog.2022.108717 http://dx.doi.org/10.1016/j.patcog.2022.108717

李传林，黄风华，胡威，等 . 基于Res_AttentionUnet的高分辨率遥感影像建筑物提取方法［J］．地球信息科学学报， 2021 ， 23 （ 12 ）： 2232 - 2243 ． doi: 10.12082/dqxxkx.2021.210008 http://dx.doi.org/10.12082/dqxxkx.2021.210008

LI C L ， HUANG F H ， HU W ， et al . Building extraction from high-resolution remote sensing image based on res＿AttentionUnet ［J］. Journal of Geo-information Science ， 2021 ， 23 （ 12 ）： 2232 - 2243 . （in Chinese） . doi: 10.12082/dqxxkx.2021.210008 http://dx.doi.org/10.12082/dqxxkx.2021.210008

HE Y ， YAO S ， YANG W ， et al . An extraction method for glacial lakes based on Landsat-8 imagery using an improved U-Net network ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2021 ， 14 ： 6544 - 6558 . doi: 10.1109/jstars.2021.3085397 http://dx.doi.org/10.1109/jstars.2021.3085397

YAN S ， XU L L ， YU G J ， et al . Glacier classification from Sentinel-2 imagery using spatial-spectral attention convolutional model ［J］. International Journal of Applied Earth Observation and Geoinformation ， 2021 ， 102 ： 102445 . doi: 10.1016/j.jag.2021.102445 http://dx.doi.org/10.1016/j.jag.2021.102445

周文舟，范晨，胡小平，等．多尺度奇异值分解的偏振图像融合去雾算法与实验［J］．中国光学， 2021 ， 14 （ 2 ）： 298 - 306 ． doi: 10.37188/CO.2020-0099 http://dx.doi.org/10.37188/CO.2020-0099

ZHOU W Z ， FAN C ， HU X P ， et al . Multi-scale singular value decomposition polarization image fusion defogging algorithm and experiment ［J］. Chinese Optics ， 2021 ， 14 （ 2 ）： 298 - 306 . （in Chinese） . doi: 10.37188/CO.2020-0099 http://dx.doi.org/10.37188/CO.2020-0099

陈欣，万敏杰，马超，等．采用多尺度特征融合SSD的遥感图像小目标检测［J］．光学精密工程， 2021 ， 29 （ 11 ）： 2672 - 2682 ． doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

CHEN X ， WAN M J ， MA C ， et al . Recognition of small targets in remote sensing image using multi-scale feature fusion-based shot multi-box detector ［J］. Optics and Precision Engineering ， 2021 ， 29 （ 11 ）： 2672 - 2682 . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

SIFRE L ， MALLAT S . Rigid-motion scattering for texture classification ［J/OL］. arXiv ， 2014 ： 1403 . 1687 . doi: 10.1109/cvpr.2013.163 http://dx.doi.org/10.1109/cvpr.2013.163

CHEN L C ， PAPANDREOU G ， SCHROFF F ， et al . Rethinking atrous convolution for semantic image segmentation ［J/OL］. arXiv ， 2017 ： 1706 . 05587 . doi: 10.1007/978-3-030-01234-2_49 http://dx.doi.org/10.1007/978-3-030-01234-2_49

SIMONYAN K ， ZISSERMAN A . Very deep convolutional networks for large-scale image recognition ［C］// Proceedings of the 3rd International Conference on Learning Representations . San Diego ： ICLR ， 2014 .

潘腾．高分二号卫星的技术特点［J］．中国航天， 2015 （ 1 ）： 3 - 9 ． doi: JournalArticle/5b3b7318c095d70f0075e273 http://dx.doi.org/JournalArticle/5b3b7318c095d70f0075e273

PAN T . Technical characteristics of Gaofen-2 satellite ［J］. Aerospace China ， 2015 （ 1 ）： 3 - 9 . （in Chinese） . doi: JournalArticle/5b3b7318c095d70f0075e273 http://dx.doi.org/JournalArticle/5b3b7318c095d70f0075e273

HU J ， SHEN L ， SUN G . Squeeze-and-excitation networks ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 7132 - 7141 . doi: 10.1109/cvpr.2018.00745 http://dx.doi.org/10.1109/cvpr.2018.00745

WANG Q L ， WU B G ， ZHU P F ， et al . ECA-Net： efficient channel attention for deep convolutional neural networks ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle ： IEEE ， 2020 ： 13 - 19 . doi: 10.1109/cvpr42600.2020.01155 http://dx.doi.org/10.1109/cvpr42600.2020.01155

LIU W ， RABINOVICH A ， BERG A C . Parsenet： looking wider to see better ［J/OL］. arXiv ， 2015 ： 1506 . 04579 .

DAI Y M ， GIESEKE F ， OEHMCKE S ， et al . Attentional feature fusion ［C］// Proceedings of 2021 IEEE Winter Conference on Applications of Computer Vision . Waikoloa ： IEEE ， 2021 ： 3559 - 3568 . doi: 10.1109/wacv48630.2021.00360 http://dx.doi.org/10.1109/wacv48630.2021.00360

WANG Z B ， GAO X ， ZHANG Y N ， et al . MSLWENet： a novel deep learning network for lake water body extraction of Google remote sensing images ［J］. Remote Sensing ， 2020 ， 12 （ 24 ）： 4140 . doi: 10.3390/rs12244140 http://dx.doi.org/10.3390/rs12244140

WOO S ， PARK J ， LEE J Y ， et al . CBAM： convolutional block attention module ［C］// Proceedings of the 15th European Conference on Computer Vision . Munich ： Springer ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

Views

485

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Improved SSD based aircraft remote sensing image target detection

Attention and feature fusion for aircraft target detection in optical remote sensing images

Related Author

SHI Tian-tian

GUO Zhong-hua

YAN Xiang

WEI Shi-qin

Hao-tong WANG

Zhong-hua GUO

Xu-ting LAN

Chang-hao LI

Related Institution

Ningxia Key Lab on Information Sensing & Intelligent Desert

Ningxia Key Laboratory of Desert Information IntelligentPerception

School of Physics and Electronic and Electrical Engineering, Ningxia University

School of Physics and Electronic and Electrical Engineering， Ningxia University

College of Electrical Engineering， Zhejiang University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰