Remote sensing landslide target recognition based on attention fusion

WANG Yu; ZHANG Peng; SUN Kai-yue; SUN Xue-hong; LIU Li-ping

doi:10.37188/CJLCD.2022-0133

您当前的位置：

首页 >

文章列表页 >

Remote sensing landslide target recognition based on attention fusion

Image Processing | 更新时间：2022-10-28

- Remote sensing landslide target recognition based on attention fusion
- Chinese Journal of Liquid Crystals and Displays Vol. 37, Issue 11, Pages: 1498-1506(2022)
- 作者机构：
  
  1.宁夏大学物理与电子电气工程学院，宁夏银川 750021
  2.宁夏大学信息工程学院，宁夏银川 750021
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(62061038);Natural Science Foundation of Ningxia(2020AAC02006);Major Projects of Ningxia Key Research and Development Plan(2020BFG02013)
- DOI：10.37188/CJLCD.2022-0133
  CLC： TP391.4
- Received：20 April 2022，
  
  Revised：09 May 2022，
  
  Published：05 November 2022
- 稿件说明：
移动端阅览
WANG Yu, ZHANG Peng, SUN Kai-yue, et al. Remote sensing landslide target recognition based on attention fusion[J]. Chinese journal of liquid crystals and displays, 2022, 37(11): 1498-1506.
DOI：

WANG Yu, ZHANG Peng, SUN Kai-yue, et al. Remote sensing landslide target recognition based on attention fusion[J]. Chinese journal of liquid crystals and displays, 2022, 37(11): 1498-1506. DOI： 10.37188/CJLCD.2022-0133.

摘要

针对传统卷积神经网络遥感滑坡识别方法中存在的模型参数量多、重点区域关注不足、难以捕获长期（全局）依赖关系的问题，提出一种融合改进自注意力和卷积块注意力的遥感滑坡目标识别算法。该算法基于编码器-解码器目标识别框架，为了增强模型对滑坡区域局部特征关注程度，将卷积块注意力机制应用于浅层特征提取，从空间与通道两个维度获取滑坡目标特征关联信息。将改进自注意力机制应用于深层特征提取，使模型能够捕获特征图内和特征图间的全局特征信息，实现滑坡目标与背景区域的有效区分。实验结果表明，该方法的滑坡识别精度为96.81%，像素分割准确率均值达到90.11%。通过与FCN、DeeplabV3+等算法进行对比，该方法在保持模型轻量级的同时，有效提升了滑坡识别的准确率。

Abstract

Aiming at the problems of traditional remote sensing landslide recognition methods based on convolutional neural network， such as too many model parameters， insufficient attention in areas of interest， and difficulty in capturing long-term （global） dependency， an automatic landslide recognition algorithm of remote sensing images based on improved self-attention and convolution block attention is proposed. The algorithm is based on the encoder-decoder target recognition framework. In order to enhance the model’s attention to local features of landslide areas， the convolution block attention mechanism is applied to the extraction of shallow features， and the landslide target feature association information is obtained from the spatial and channel dimensions. The improved self-attention mechanism is applied to the extraction of deep features， so that the model can capture global feature information within and between feature maps， which effectively distinguishes landslide targets from background areas. Experimental results show that the landslide recognition precision of this method is 96.81%， and the average accuracy of pixel segmentation is 90.11%. The proposed method can effectively improve the accuracy of landslide identification while keeping the model lightweight in comparison with FCN， DeeplabV3+and other algorithms.

关键词

Keywords

references

张鹏飞 . 地震滑坡的遥感影像自动提取研究［D］. 北京：中国地震局地质研究所， 2021 .

ZHANG P F . Research on automatic extraction of remote sensing images of co - seismic landslides ［D］. Beijing ： Institute of Geology， China Earthquake Administration ， 2021 . （in Chinese）

廖明生，董杰，李梦华，等 . 雷达遥感滑坡隐患识别与形变监测［J］. 遥感学报， 2021 ， 25 （ 1 ）： 332 - 341 . doi: 10.11834/jrs.20210162 http://dx.doi.org/10.11834/jrs.20210162

LIAO M S ， DONG J ， LI M H ， et al . Radar remote sensing for potential landslides detection and deformation monitoring ［J］. National Remote Sensing Bulletin ， 2021 ， 25 （ 1 ）： 332 - 341 . （in Chinese） . doi: 10.11834/jrs.20210162 http://dx.doi.org/10.11834/jrs.20210162

龙玉洁，李为乐，黄润秋，等 . 汶川地震震后10年绵远河流域滑坡遥感自动提取与演化趋势分析［J］. 武汉大学学报·信息科学版， 2020 ， 45 （ 11 ）： 1792 - 1800 .

LONG Y J ， LI W L ， HUANG R Q ， et al . Automatic extraction and evolution trend analysis of landslides in Mianyuan river basin in the 10 years after Wenchuan earthquake ［J］. Geomatics and Information Science of Wuhan University ， 2020 ， 45 （ 11 ）： 1792 - 1800 . （in Chinese）

马玉林，吴华，张文海，等 . 遥感技术在滑坡识别中的应用探讨［J］. 科技创新与应用， 2022 ， 12 （ 3 ）： 142 - 145 .

MA Y L ， WU H ， ZHANG W H ， et al . Discussion on the application of remote sensing technology in landslide identification ［J］. Technology Innovation and Application ， 2022 ， 12 （ 3 ）： 142 - 145 . （in Chinese）

吴玄 . 面向对象的卷积神经网络Landsat8影像分类方法研究［D］. 武汉：武汉大学， 2019 . doi: 10.1007/s11859-018-1308-z http://dx.doi.org/10.1007/s11859-018-1308-z

WU X . Research on object - oriented convolutional neural network for Landsat8 image classification ［D］. Wuhan ： Wuhan University ， 2019 . （in Chinese） . doi: 10.1007/s11859-018-1308-z http://dx.doi.org/10.1007/s11859-018-1308-z

简小婷，赵康，左小清，等 . 基于Faster R-CNN目标检测的滑坡隐患识别——以福贡县城区为例［J/OL］. 化工矿物与加工， 2022 ： 1 - 9 （ 2022-02-28 ）. http：//kns.cnki.net/kcms/detail/32.1492.TQ.20220228.1002.004.html http://kns.cnki.net/kcms/detail/32.1492.TQ.20220228.1002.004.html .

JIAN X T ， ZHAO K ， ZUO X Q ， et al . Detection of landslides in urban area of Fugong County based on Faster R-CNN ［J/OL］. Industrial Minerals & Processing ， 2022 ： 1 - 9 （ 2022-02-28 ）. http：//kns.cnki.net/kcms/detail/32.1492.TQ.20220228.1002.004.html. http://kns.cnki.net/kcms/detail/32.1492.TQ.20220228.1002.004.html. （in Chinese）

胡芳驰，樊雅婧 . 遥感影像滑坡灾害识别应用研究［J］. 农业灾害研究， 2021 ， 11 （ 4 ）： 98 - 99 . doi: 10.3969/j.issn.2095-3305.2021.04.040 http://dx.doi.org/10.3969/j.issn.2095-3305.2021.04.040

HU F C ， FAN Y J . Application of remote sensing image for landslide disaster identification ［J］. Journal of Agricultural Catastrophology ， 2021 ， 11 （ 4 ）： 98 - 99 . （in Chinese） . doi: 10.3969/j.issn.2095-3305.2021.04.040 http://dx.doi.org/10.3969/j.issn.2095-3305.2021.04.040

王文辉 . 联合SBAS-InSAR与机器学习的滑坡隐患识别——以兰州市为例［D］. 兰州：兰州交通大学， 2021 .

WANG W H . Landslide hazard identification based on SBAS-InSAR and machine learning — Taking Lanzhou City as an example ［D］. Lanzhou ： Lanzhou Jiaotong University ， 2021 . （in Chinese）

杨州，慕晓冬，王舒洋，等 . 基于多尺度特征融合的遥感图像场景分类［J］. 光学精密工程， 2018 ， 26 （ 12 ）： 3099 - 3107 . doi: 10.3788/OPE.20182612.3099 http://dx.doi.org/10.3788/OPE.20182612.3099

YANG Z ， MU X D ， WANG S Y ， et al . Scene classification of remote sensing images based on multiscale features fusion ［J］. Optics and Precision Engineering ， 2018 ， 26 （ 12 ）： 3099 - 3107 . （in Chinese） . doi: 10.3788/OPE.20182612.3099 http://dx.doi.org/10.3788/OPE.20182612.3099

HU Q ， ZHOU Y ， WANG S X ， et al . Improving the accuracy of landslide detection in “Off-site” area by machine learning model portability comparison： a case study of Jiuzhaigou Earthquake， China ［J］. Remote Sensing ， 2019 ， 11 （ 21 ）： 2530 . doi: 10.3390/rs11212530 http://dx.doi.org/10.3390/rs11212530

张蕴灵，傅宇浩，孙雨，等 . 结合深度神经网络的高分辨遥感影像滑坡检测［J］. 公路， 2021 ， 66 （ 5 ）： 188 - 194 .

ZHANG Y L ， FU Y H ， SUN Y ， et al . Landslide detection from high-resolution remote sensing image using deep neural network ［J］. Highway ， 2021 ， 66 （ 5 ）： 188 - 194 . （in Chinese）

陈欣，万敏杰，马超，等 . 采用多尺度特征融合SSD的遥感图像小目标检测［J］. 光学精密工程， 2021 ， 29 （ 11 ）： 2672 - 2682 . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

CHEN X ， WAN M J ， MA C ， et al . Recognition of small targets in remote sensing image using multi-scale feature fusion-based shot multi-box detector ［J］. Optics and Precision Engineering ， 2021 ， 29 （ 11 ）： 2672 - 2682 . （in Chinese） . doi: 10.37188/OPE.20212911.2672 http://dx.doi.org/10.37188/OPE.20212911.2672

赵鹏菲，黄丽佳 . 一种基于EfficientNet与BiGRU的多角度SAR图像目标识别方法［J］. 雷达学报， 2021 ， 10 （ 6 ）： 895 - 904 . doi: 10.12000/JR20133 http://dx.doi.org/10.12000/JR20133

ZHAO P F ， HUANG L J . Target recognition method for multi-aspect synthetic aperture radar images based on EfficientNet and BiGRU ［J］. Journal of Radars ， 2021 ， 10 （ 6 ）： 895 - 904 . （in Chinese） . doi: 10.12000/JR20133 http://dx.doi.org/10.12000/JR20133

ULLO S ， MOHAN A ， SEBASTIANELLI A ， et al . A new mask R-CNN-based method for improved landslide detection ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2021 ， 14 ： 3799 - 3810 . doi: 10.1109/jstars.2021.3064981 http://dx.doi.org/10.1109/jstars.2021.3064981

赵福军，樊雅婧 . 深度卷积神经网络的遥感影像滑坡灾害识别［J］. 黑龙江科技大学学报， 2020 ， 30 （ 5 ）： 556 - 561 . doi: 10.3969/j.issn.2095-7262.2020.05.016 http://dx.doi.org/10.3969/j.issn.2095-7262.2020.05.016

ZHAO F J ， FAN Y J . Landslide hazard identification using remote sensing image based on depth convolutional neural network ［J］. Journal of Heilongjiang University of Science & Technology ， 2020 ， 30 （ 5 ）： 556 - 561 . （in Chinese） . doi: 10.3969/j.issn.2095-7262.2020.05.016 http://dx.doi.org/10.3969/j.issn.2095-7262.2020.05.016

姜万冬，席江波，李振洪，等 . 模拟困难样本的Mask R-CNN滑坡分割识别［J/OL］. 武汉大学学报·信息科学版， 2021 ： 1 - 18 （ 2021-08-31 ）. https：//kns.cnki.net/KCMS/detail/detail.aspx？dbcode=CJFQ&dbname=CAPJLAST&filename=WHCH20210831001 https://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CJFQ&dbname=CAPJLAST&filename=WHCH20210831001 .

JIANG W D ， XI J B ， LI Z H ， et al . Landslide detection and segmentation using mask R-CNN with simulated hard samples ［J/OL］. Geomatics and Information Science of Wuhan University ， 2021 ： 1 - 18 （ 2021-08-31 ）. https：//kns.cnki.net/KCMS/detail/detail.aspx？dbcode=CJFQ&dbname=CAPJLAST&filename=WHCH20210831001. https://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CJFQ&dbname=CAPJLAST&filename=WHCH20210831001. （in Chinese）

王曦，于鸣，任洪娥 . UNET与FPN相结合的遥感图像语义分割［J］. 液晶与显示， 2021 ， 36 （ 3 ）： 475 - 483 . doi: 10.37188/CJLCD.2020-0116 http://dx.doi.org/10.37188/CJLCD.2020-0116

WANG X ， YU M ， REN H E . Remote sensing image semantic segmentation combining UNET and FPN ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 3 ）： 475 - 483 . （in Chinese） . doi: 10.37188/CJLCD.2020-0116 http://dx.doi.org/10.37188/CJLCD.2020-0116

许濒支，朱庆，李海峰，等 . 基于多尺度深度注意力模型的遥感影像滑坡提取方法［J］. 测绘地理信息， 2022 ， 47 （ 3 ）： 108 - 112 .

XU B Z ， ZHU Q ， LI H F ， et al . A landslide extraction method of remote sensing image based on multi-scale depth attention model ［J］. Journal of Geomatics ， 2022 ， 47 （ 3 ）： 108 - 112 . （in Chinese）

CAO Y H ， YU H ， WU J X . Training vision transformers with only 2040 images ［J］. arXiv ， 2022 ： 2201 .10728. doi: 10.1007/978-3-031-19806-9_13 http://dx.doi.org/10.1007/978-3-031-19806-9_13

WOO S ， PARK J ， LEE J Y ， et al . CBAM： Convolutional block attention module ［C］// Proceedings of the 15th European Conference on Computer Vision （ECCV） . Munich， Germany ： Springer ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

VASWANI A ， SHAZEER N ， PARMAR N ， et al . Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems . Long Beach， USA ： ACM ， 2017 ： 6000 - 6010 .

WANG S N ， LI B Z ， KHABSA M ， et al . Linformer： self-attention with linear complexity ［J］. arXiv ， 2020 ： 2006 .04768

JI S P ， YU D W ， SHEN C Y ， et al . Landslide detection from an open satellite imagery and digital elevation model dataset using attention boosted convolutional neural networks ［J］. Landslides ， 2020 ， 17 （ 6 ）： 1337 - 1352 . doi: 10.1007/s10346-020-01353-2 http://dx.doi.org/10.1007/s10346-020-01353-2

RONNEBERGER O ， FISCHER P ， BROX T . U-Net： convolutional networks for biomedical image segmentation ［C］// Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention . Munich， Germany ： Springer ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

CHEN L C ， ZHU Y K ， PAPANDREOU G ， et al . Encoder-decoder with atrous separable convolution for semantic image segmentation ［C］// Proceedings of the 15th European Conference on Computer Vision （ECCV） . Munich， Germany ： Springer ， 2018 ： 833 - 851 . doi: 10.1007/978-3-030-01234-2_49 http://dx.doi.org/10.1007/978-3-030-01234-2_49

LONG J ， SHELHAMER E ， DARRELL T . Fully convolutional networks for semantic segmentation ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition . Boston， USA ： IEEE ， 2015 ： 3431 - 3440 . doi: 10.1109/cvpr.2015.7298965 http://dx.doi.org/10.1109/cvpr.2015.7298965

吴琪，周创兵，黄发明，等 . 基于双重注意力机制的滑坡识别方法优化［J］. 地质科技通报， 2022 ， 41 （ 2 ）： 246 - 253 .

WU Q ， ZHOU C B ， HUANG F M ， et al . Optimization of the landslide identification method based on a dual attention mechanism ［J］. Bulletin of Geological Science and Technology ， 2022 ， 41 （ 2 ）： 246 - 253 . （in Chinese）

Views

201

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Object detection methods for high resolution remote sensing images

Remote sensing image change detection based on CNN-Transformer structure

Similar target replacement for remote sensing object detection data augmentation

Remote sensing image data enhancement based on improved SinGAN

Related Author

SUN Xue-hong

SUN Kai-yue

WANG Yu

ZHANG Peng

ZHANG Dehao

WANG Yuqing

TANG Yanhui

LIANG Haixiang

Related Institution

University of Chinese Academy of Sciences

Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences

School of Electronic and Information Engineering， Liaoning Technical University

Bohai Shipbuilding Vocationla College

School of materials science and engineering， University of science and Technology Beijing

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰