Hyperspectral image classification based on multi-scale hybrid convolutional network

YANG Yun; ZHOU Yao; CHEN Jia-ning

doi:10.37188/CJLCD.2022-0225

您当前的位置：

首页 >

文章列表页 >

Hyperspectral image classification based on multi-scale hybrid convolutional network

Image Processing | 更新时间：2023-03-15

- Hyperspectral image classification based on multi-scale hybrid convolutional network
- Chinese Journal of Liquid Crystals and Displays Vol. 38, Issue 3, Pages: 368-377(2023)
- 作者机构：
  
  陕西科技大学电子信息与人工智能学院，陕西西安 710021
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(61971272;61601271);National Key Research and Development Program of China(2019YFC1520204)
- DOI：10.37188/CJLCD.2022-0225
  CLC： TP391
- Received：01 July 2022，
  
  Revised：23 July 2022，
  
  Published：05 March 2023
- 稿件说明：
移动端阅览
YANG Yun, ZHOU Yao, CHEN Jia-ning. Hyperspectral image classification based on multi-scale hybrid convolutional network[J]. Chinese journal of liquid crystals and displays, 2023, 38(3): 368-377.
DOI：

YANG Yun, ZHOU Yao, CHEN Jia-ning. Hyperspectral image classification based on multi-scale hybrid convolutional network[J]. Chinese journal of liquid crystals and displays, 2023, 38(3): 368-377. DOI： 10.37188/CJLCD.2022-0225.

摘要

针对高光谱图像数据分布不均匀、空谱特征提取不够充分以及随着网络层数增加而导致的网络退化等问题，提出一种基于多尺度混合卷积网络的高光谱图像分类方法。首先，使用主成分分析对高光谱数据进行降维处理；接着，利用邻域提取将邻域内的像素点作为一个样本，补充相应的空间信息；然后，使用多尺度混合卷积网络对预处理后的样本数据进行特征提取，并加入混合域注意力机制来加强空间和光谱维中有用的信息；最后，使用Softmax分类器对每个像素样本进行类别划分。实验结果表明：将所提出的模型在Indian Pines和Pavia University两个高光谱数据集中进行实验，其总体分类精度、平均分类精度、Kappa系数分别能达到0.987 9、0.983 3、0.986 2和0.999 0、0.996 9、0.998 6。该算法能够更加充分地提取高光谱图像的特征信息，与其他分类方法相比取得了更好的分类效果。

Abstract

To solve the problems of uneven distribution of hyperspectral image data， insufficient spatial-spectral feature extraction， and network degradation caused by the increase of network layers， a hyperspectral image classification algorithm based on multi-scale hybrid convolutional network is proposed. Firstly， principal component analysis is applied to reduce the dimension of hyperspectral data. Then， the neighborhood extraction is applied to take all pixels in the neighborhood as a sample to supplement the corresponding spatial information. Next， an improved multi-scale hybrid convolutional network is applied to extract features from the preprocessed sample data， and the mixed domain attention mechanism is added to enhance the useful information in the spatial and spectral dimensions. Finally， the Softmax classifier is used to classify each pixel sample. The proposed model is tested on hyperspectral datasets of Indian Pines and Pavia University. Experiments show that the overall classification accuracy， average classification accuracy and Kappa coefficient can reach 0.987 9， 0.983 3， 0.986 2 and 0.999 0， 0.996 9， 0.998 6， respectively. Compared with other classification methods， this algorithm can extract the feature information of hyperspectral images more fully， and achieves better classification results.

关键词

Keywords

references

ZHANG W Y ， SONG H Y ， HE X ， et al . Deeply learned broadband encoding stochastic hyperspectral imaging ［J］. Light： Science & Applications ， 2021 ， 10 （ 1 ）： 108 . doi: 10.1038/s41377-021-00545-2 http://dx.doi.org/10.1038/s41377-021-00545-2

代晶晶，赵龙贤，姜琪，等 . 热红外高光谱技术在地质找矿中的应用综述［J］. 地质学报， 2020 ， 94 （ 8 ）： 2520 - 2533 . doi: 10.3969/j.issn.0001-5717.2020.08.026 http://dx.doi.org/10.3969/j.issn.0001-5717.2020.08.026

DAI J J ， ZHAO L X ， JIANG Q ， et al . Review of thermal-infrared spectroscopy applied in geological ore exploration ［J］. Acta Geologica Sinica ， 2020 ， 94 （ 8 ）： 2520 - 2533 . （in Chinese） . doi: 10.3969/j.issn.0001-5717.2020.08.026 http://dx.doi.org/10.3969/j.issn.0001-5717.2020.08.026

许木桑，雷少刚，杨星晨，等 . 基于高光谱遥感的排土场植被覆盖与植物多样性分析［J］. 生态学杂志， 2022 ， 41 （ 3 ）： 603 - 609 .

XU M S ， LEI S G ， YANG X C ， et al . Analysis of vegetation coverage and diversity of dump based on hyperspectral remote sensing ［J］. Chinese Journal of Ecology ， 2022 ， 41 （ 3 ）： 603 - 609 . （in Chinese）

李迎双，李恒凯，徐丰 . 矿山环境污染高光谱遥感监测研究进展［J］. 有色金属科学与工程， 2022 ， 13 （ 1 ）： 108 - 114 ．

LI Y S ， LI H K ， XU F . Research progress of hyperspectral remote sensing monitoring in mine environmental contamination ［J］. Nonferrous Metals Science and Engineering ， 2022 ， 13 （ 1 ）： 108 - 114 . （in Chinese）

RAJARAJESWARI P ， HEMASHRI R ， JAYAPRIYA S ， et al . Hyperspectral image classification by using k-nearest neighbor algorithm ［J］. International Journal of Psychosocial Rehabilitation ， 2020 ， 24 （ 5 ）： 5068 - 5074 . doi: 10.37200/ijpr/v24i5/pr2020214 http://dx.doi.org/10.37200/ijpr/v24i5/pr2020214

SONG W W ， LI S T ， KANG X D ， et al . Hyperspectral image classification based on KNN sparse representation ［C］// 2016 IEEE International Geoscience and Remote Sensing Symposium . Beijing ： IEEE ， 2016 ： 2411 - 2414 . doi: 10.1109/igarss.2016.7729622 http://dx.doi.org/10.1109/igarss.2016.7729622

MOUGHAL T A . Hyperspectral image classification using support vector machine ［J］. Journal of Physics： Conference ， 2013 ， 439 ： 012042 . doi: 10.1088/1742-6596/439/1/012042 http://dx.doi.org/10.1088/1742-6596/439/1/012042

LI S J ， WU H ， WAN D S ， et al . An effective feature selection method for hyperspectral image classification based on genetic algorithm and support vector machine ［J］. Knowledge-Based Systems ， 2011 ， 24 （ 1 ）： 40 - 48 . doi: 10.1016/j.knosys.2010.07.003 http://dx.doi.org/10.1016/j.knosys.2010.07.003

胡蕾，侯鹏洋 . 一种基于光谱与纹理特征的多光谱遥感图像地物分类方法［J］. 中国科技论文， 2015 ， 10 （ 2 ）： 197 - 200 . doi: 10.3969/j.issn.2095-2783.2015.02.016 http://dx.doi.org/10.3969/j.issn.2095-2783.2015.02.016

HU L ， HOU P Y . A method of multispectral remote sensing imagery classification based on spectral and texture feature ［J］. China Sciencepaper ， 2015 ， 10 （ 2 ）： 197 - 200 . （in Chinese） . doi: 10.3969/j.issn.2095-2783.2015.02.016 http://dx.doi.org/10.3969/j.issn.2095-2783.2015.02.016

叶珍，白璘，何明一 . 高光谱图像空谱特征提取综述［J］. 中国图象图形学报， 2021 ， 26 （ 8 ）： 1737 - 1763 . doi: 10.11834/jig.210198 http://dx.doi.org/10.11834/jig.210198

YE Z ， BAI L ， HE M Y . Review of spatial-spectral feature extraction for hyperspectral image ［J］. Journal of Image and Graphics ， 2021 ， 26 （ 8 ）： 1737 - 1763 . （in Chinese） . doi: 10.11834/jig.210198 http://dx.doi.org/10.11834/jig.210198

闫敬文，陈宏达，刘蕾 . 高光谱图像分类的研究进展［J］. 光学精密工程， 2019 ， 27 （ 3 ）： 680 - 693 ． doi: 10.3788/ope.20192703.0680 http://dx.doi.org/10.3788/ope.20192703.0680

YAN J W ， CHEN H D ， LIU L . Overview of hyperspectral image classification ［J］. Optics and Precision Engineering ， 2019 ， 27 （ 3 ）： 680 - 693 . （in Chinese） . doi: 10.3788/ope.20192703.0680 http://dx.doi.org/10.3788/ope.20192703.0680

YANG X F ， YE Y M ， LI X T ， et al . Hyperspectral image classification with deep learning models ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2018 ， 56 （ 9 ）： 5408 - 5423 . doi: 10.1109/tgrs.2018.2815613 http://dx.doi.org/10.1109/tgrs.2018.2815613

LI Y ， ZHANG H K ， SHEN Q . Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network ［J］. Remote Sensing ， 2017 ， 9 （ 1 ）： 67 . doi: 10.3390/rs9010067 http://dx.doi.org/10.3390/rs9010067

王浩，张晶晶，李园园，等 . 基于3D卷积联合注意力机制的高光谱图像分类［J］. 红外技术， 2020 ， 42 （ 3 ）： 264 - 271 . doi: 10.3724/sp.j.7101182188 http://dx.doi.org/10.3724/sp.j.7101182188

WANG H ， ZHANG J J ， LI Y Y ， et al . Hyperspectral image classification based on 3D convolution joint attention mechanism ［J］. Infrared Technology ， 2020 ， 42 （ 3 ）： 264 - 271 . （in Chinese） . doi: 10.3724/sp.j.7101182188 http://dx.doi.org/10.3724/sp.j.7101182188

ROY S K ， KRISHNA G ， DUBEY S R ， et al . HybridSN： exploring 3-D-2-D CNN feature hierarchy for hyperspectral image classification ［J］. IEEE Geoscience and Remote Sensing Letters ， 2020 ， 17 （ 2 ）： 277 - 281 . doi: 10.1109/lgrs.2019.2918719 http://dx.doi.org/10.1109/lgrs.2019.2918719

廖金雷，张磊，周湘山，等 . 融合植被指数的3D-2D-CNN高光谱图像植被分类方法［J］. 科学技术与工程， 2021 ， 21 （ 27 ）： 11656 - 11662 .

LIAO J L ， ZHANG L ， ZHOU X S ， et al . A hyperspectral image vegetation classification method using 2D-3D CNNs and vegetation index ［J］. Science Technology and Engineering ， 2021 ， 21 （ 27 ）： 11656 - 11662 . （in Chinese）

王晗，王阿川，苍圣 . 基于压缩感知的高光谱遥感影像重构方法研究［J］. 液晶与显示， 2017 ， 32 （ 3 ）： 219 - 226 ． doi: 10.3788/YJYXS20173203.0219 http://dx.doi.org/10.3788/YJYXS20173203.0219

WANG H ， WANG A C ， CANG S . Hyperspectral remote sensing image reconstruction method based on compressive sensing ［J］. Chinese Journal of Liquid Crystals and Displays ， 2017 ， 32 （ 3 ）： 219 - 226 . （in Chinese） . doi: 10.3788/YJYXS20173203.0219 http://dx.doi.org/10.3788/YJYXS20173203.0219

徐沁，梁玉莲，王冬越，等 . 基于SE-Res2Net与多尺度空谱融合注意力机制的高光谱图像分类［J］. 计算机辅助设计与图形学学报， 2021 ， 33 （ 11 ）： 1726 - 1734 . doi: 10.3724/sp.j.1089.2021.18778 http://dx.doi.org/10.3724/sp.j.1089.2021.18778

XU Q ， LIANG Y L ， WANG D Y ， et al . Hyperspectral image classification based on SE-Res2Net and multi-scale spatial spectral fusion attention mechanism ［J］. Journal of Computer-Aided Design & Computer Graphics ， 2021 ， 33 （ 11 ）： 1726 - 1734 . （in Chinese） . doi: 10.3724/sp.j.1089.2021.18778 http://dx.doi.org/10.3724/sp.j.1089.2021.18778

WOO S ， PARK J ， LEE J Y ， et al . CBAM： convolutional block attention module ［C］// Proceedings of the 15th European Conference on Computer Vision . Munich ： Springer ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

ZHAO Y F ， SU F Z ， YAN F Q . Novel semi-supervised hyperspectral image classification based on a superpixel graph and discrete potential method ［J］. Remote Sensing ， 2020 ， 12 （ 9 ）： 1528 . doi: 10.3390/rs12091528 http://dx.doi.org/10.3390/rs12091528

ZHENG J W ， FENG Y C ， BAI C ， et al . Hyperspectral image classification using mixed convolutions and covariance pooling ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2021 ， 59 （ 1 ）： 522 - 534 . doi: 10.1109/tgrs.2020.2995575 http://dx.doi.org/10.1109/tgrs.2020.2995575

Views

141

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Neural architecture search combined with efficient attention for hyperspectral image classification

Hyperspectral image classification based on multi-branch spatial-spectral feature enhancement

3D hand reconstruction method based on adaptive occlusion recovery and topology-pose bidirectional perception

Related Author

CHEN Haisong

ZHANG Kang

LÜ Haoran

WANG Aili

WU Haibin

LI Tie

LI Wenxu

WANG Junguo

Related Institution

School of Integrated Circuit， Shenzhen Polytechnic University

Heilongjiang Province Key Laboratory of Laser Spectroscopy Technology and Application， Harbin University of Science and Technology

School of Electronic and Information Engineering， Liaoning Technical University

School of Automation， Nanjing University of Information Science & Technology

School of Computer and Computing Science， Hangzhou City University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰