基于改进SinGAN的遥感图像数据增强方法

彭晏飞; 邓佳楠; 王刚

doi:10.37188/CJLCD.2022-0207

您当前的位置：

首页 >

文章列表页 >

基于改进SinGAN的遥感图像数据增强方法

图像处理 | 更新时间：2023-03-15

- 基于改进SinGAN的遥感图像数据增强方法
- Remote sensing image data enhancement based on improved SinGAN
- 液晶与显示 2023年38卷第3期页码：387-396
- 作者机构：
  
  1.辽宁工程技术大学电子与信息工程学院，辽宁葫芦岛 125105
  2.渤海船舶职业学院，辽宁葫芦岛 125105
- 作者简介：
  
  [ "彭晏飞（1975—），男，黑龙江五常人，博士，教授，2019年于辽宁工程技术大学获得博士学位，主要研究方向为智能信息处理、计算机视觉，E-mail：pengyf75@126.com" ]
  [ "邓佳楠（1995—），男，河南洛阳人，硕士研究生，2018年于郑州升达经贸管理学院获得学士学位，主要研究方向为计算机视觉。E-mail：749946179@qq.com" ]
- 基金信息：
  
  国家自然科学基金(61772249);辽宁省高等学校基本科研项目(LJKZ0358);辽宁工程技术大学双一流学科创新团队资助项目(LNTU20TD-27)
- DOI：10.37188/CJLCD.2022-0207
  中图分类号： TP391
- 收稿日期：2022-06-21，
  
  修回日期：2022-07-17，
  
  纸质出版日期：2023-03-05
- 稿件说明：
移动端阅览
彭晏飞, 邓佳楠, 王刚. 基于改进SinGAN的遥感图像数据增强方法[J]. 液晶与显示, 2023,38(3):387-396.

PENG Yan-fei, DENG Jia-nan, WANG Gang. Remote sensing image data enhancement based on improved SinGAN[J]. Chinese journal of liquid crystals and displays, 2023, 38(3): 387-396.
彭晏飞, 邓佳楠, 王刚. 基于改进SinGAN的遥感图像数据增强方法[J]. 液晶与显示, 2023,38(3):387-396. DOI： 10.37188/CJLCD.2022-0207.

PENG Yan-fei, DENG Jia-nan, WANG Gang. Remote sensing image data enhancement based on improved SinGAN[J]. Chinese journal of liquid crystals and displays, 2023, 38(3): 387-396. DOI： 10.37188/CJLCD.2022-0207.

摘要

随着遥感技术的发展，遥感图像被大量应用于遥感图像识别、分割等领域。但遥感图像数量少、质量低以及多样性不足等问题阻碍了遥感解译等后续研究的性能提升，如何利用少量的遥感图像生成大量的数据集是目前亟待解决的问题。针对这一问题，本文以SinGAN网络为基础，将一种新的纯卷积网络ConvNeXt与之结合来构建遥感图像数据增强框架。实验结果表明，在遥感数据集NWPU-RESISC45 Dataset上，结合ConvNeXt卷积网络进行数据增强后的图像，其FID、SSIM和PSNR这3种GAN与图像质量评价指标分别提升了5.7%、6.2%和8.2%。基于改进SinGAN的遥感图像数据增强方法进行增强后的图像质量与多样性均优于SinGAN算法与传统图像增强方法，实际中可用于图像分割、目标检测等领域。

Abstract

With the development of remote sensing technology， remote sensing images have been applied to a large number of fields such as remote sensing image recognition and segmentation detection. However， the problems of lack of remote sensing images， low quality and insufficient diversity hinder the performance improvement of remote sensing interpretation and other subsequent researches， and how to use a small amount of remote sensing images to generate a large number of datasets is an urgent problem at present. To address this problem， this paper combines a new pure convolutional network， ConvNeXt， with SinGAN network to build a remote sensing image data enhancement framework. Combined with ConvNeXt convolution network， the three image quality evaluation indexes of FID， SSIM and PSNR are increased by 5.7%， 6.2% and 8.2%， respectively， on the remote sensing dataset NWPU-RESISC45 Dataset after combining ConvNeXt convolutional network for data enhancement. The quality and diversity of the data enhanced images based on the improved SinGAN remote sensing image data enhancement method are better than the SinGAN algorithm and the traditional image enhancement method， which can be used in remote sensing interpretation， change detection and other fields in practice.

关键词

Keywords

references

马洪祥 . 基于对抗学习的遥感图像数据增强技术研究［D］. 西安：西安电子科技大学， 2021 .

MA H X . Research on remote sensing image data augmentation based on adversarial learning ［D］. Xi'an ： Xidian University ， 2021 . （in Chinese）

王浩，张叶，沈宏海，等 . 图像增强算法综述［J］. 中国光学， 2017 ， 10 （ 4 ）： 438 - 448 . doi: 10.3788/co.20171004.0438 http://dx.doi.org/10.3788/co.20171004.0438

WANG H ， ZHANG Y ， SHEN H H ， et al . Review of image enhancement algorithms ［J］. Chinese Optics ， 2017 ， 10 （ 4 ）： 438 - 448 . （in Chinese） . doi: 10.3788/co.20171004.0438 http://dx.doi.org/10.3788/co.20171004.0438

MIRZA M ， OSINDERO S . Conditional generative adversarial nets ［J/OL］. arXiv ： 2014 ： 1411 . 1784 .

CHEN C ， MA H X ， YAO G R ， et al . Remote sensing image augmentation based on text description for waterside change detection ［J］. Remote Sensing ， 2021 ， 13 （ 10 ）： 1894 . doi: 10.3390/rs13101894 http://dx.doi.org/10.3390/rs13101894

SHAHAM T R ， DEKEL T ， MICHAELI T . SinGAN： learning a generative model from a single natural image ［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision . Seoul ： IEEE ， 2019 ： 4569 - 4579 . doi: 10.1109/iccv.2019.00467 http://dx.doi.org/10.1109/iccv.2019.00467

陈清江，张雪，柴昱洲 . 基于卷积神经网络的图像去雾算法［J］. 液晶与显示， 2019 ， 34 （ 2 ）： 220 - 227 . doi: 10.3788/yjyxs20193402.0220 http://dx.doi.org/10.3788/yjyxs20193402.0220

CHEN Q J ， ZHANG X ， CHAI Y Z . Image defogging algorithms based on multiscale convolution neural network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 2 ）： 220 - 227 . （in Chinese） . doi: 10.3788/yjyxs20193402.0220 http://dx.doi.org/10.3788/yjyxs20193402.0220

DOSOVITSKIY A ， BEYER L ， KOLESNIKOV A ， et al . An image is worth 16×16 words： transformers for image recognition at scale ［C］// Proceedings of the 9th International Conference on Learning Representations . Raleigh ： ICLR ， 2011 .

VASWANI A ， SHAZEER N ， PARMAR N ， et al . Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems . Long Beach ： Curran Associates Inc. ， 2017 ： 6000 - 6010 .

ALKHAMISSI B ， DIAB M . Meta AI at Arabic hate speech 2022： MultiTask learning with self-correction for hate speech classification ［C］// Proceedinsg of the 5th Workshop on Open-Source Arabic Corpora and Processing Tools with Shared Tasks on Qur’an QA and Fine-Grained Hate Speech Detection . Marseille ： European Language Resources Association ， 2022 ： 186 - 193 .

LIU Z ， LIN Y T ， CAO Y ， et al . Swin transformer： hierarchical vision transformer using shifted windows ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision . Montreal ： IEEE ， 2021 ： 9992 - 10002 . doi: 10.1109/iccv48922.2021.00986 http://dx.doi.org/10.1109/iccv48922.2021.00986

HASSANIEN M A ， SINGH V K ， PUIG D ， et al . Predicting breast tumor malignancy using deep ConvNeXt Radiomics and quality-based score pooling in ultrasound sequences ［J］. Diagnostics ， 2022 ， 12 （ 5 ）： 1053 . doi: 10.3390/diagnostics12051053 http://dx.doi.org/10.3390/diagnostics12051053

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

YI X ， WALIA E ， BABYN P . Generative adversarial network in medical imaging： a review ［J］. Medical Image Analysis ， 2019 ， 58 ： 101552 . doi: 10.1016/j.media.2019.101552 http://dx.doi.org/10.1016/j.media.2019.101552

HINZ T ， FISHER M ， WANG O ， et al . Improved techniques for training single-image GANs ［C］// Proceedings of the 2021 IEEE Winter Conference on Applications of Computer Vision . Waikoloa ： IEEE ， 2021 ： 1299 - 1308 . doi: 10.1109/wacv48630.2021.00134 http://dx.doi.org/10.1109/wacv48630.2021.00134

ALMAHAIRI A ， RAJESWAR S ， SORDONI A ， et al . Augmented cycleGAN： learning many-to-many mappings from unpaired data ［C］// Proceedings of the 35th International Conference on Machine Learning . Stockholm ： PMLR ， 2018 ： 195 - 204 .

HAN C ， MURAO K ， NOGUCHI T ， et al . Learning more with less： conditional PGGAN-based data augmentation for brain metastases detection using highly-rough annotation on MR images ［C］// Proceedings of the 28th ACM International Conference on Information and Knowledge Management . Beijing ： Association for Computing Machinery ， 2019 ： 119 - 127 . doi: 10.1145/3357384.3357890 http://dx.doi.org/10.1145/3357384.3357890

LIU Z ， MAO H Z ， WU C Y ， et al . A ConvNet for the 2020s ［C］// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans ： IEEE ， 2022 ： 11966 - 11976 . doi: 10.1109/cvpr52688.2022.01167 http://dx.doi.org/10.1109/cvpr52688.2022.01167

SANDLER M ， HOWARD A ， ZHU M L ， et al . MobileNetV2： inverted residuals and linear bottlenecks ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 4510 - 4520 . doi: 10.1109/cvpr.2018.00474 http://dx.doi.org/10.1109/cvpr.2018.00474

王星，高峰，陈吉，等 . 基于GAN网络的煤岩图像样本生成方法［J］. 煤炭学报， 2021 ， 46 （ 9 ）： 3066 - 3078 .

WANG X ， GAO F ， CHEN J ， et al . Generative adversarial networks based sample generation of coal and rock images ［J］. Journal of China Coal Society ， 2021 ， 46 （ 9 ）： 3066 - 3078 . （in Chinese）

GULRAJANI I ， AHMED F ， ARJOVSKY M ， et al . Improved training of wasserstein GANs ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems . Long Beach ： Curran Associates Inc. ， 2017 ： 5769 - 5779 .

HARB R ， KNÖBELREITER P . InfoSeg： unsupervised semantic image segmentation with mutual information maximization ［C］// Proceedings of the 43rd DAGM German Conference on Pattern Recognition . Bonn ： Springer ， 2021 ： 18 - 32 . doi: 10.1007/978-3-030-92659-5_2 http://dx.doi.org/10.1007/978-3-030-92659-5_2

王春哲，安军社，姜秀杰，等 . 基于卷积神经网络的候选区域优化算法［J］. 中国光学， 2019 ， 12 （ 6 ）： 1348 - 1361 . doi: 10.3788/co.20191206.1348 http://dx.doi.org/10.3788/co.20191206.1348

WANG C Z ， AN J S ， JIANG X J ， et al . Region proposal optimization algorithm based on convolutional neural networks ［J］. Chinese Optics ， 2019 ， 12 （ 6 ）： 1348 - 1361 . doi: 10.3788/co.20191206.1348 http://dx.doi.org/10.3788/co.20191206.1348

CHENG G ， HAN J W ， LU X Q . Remote sensing image scene classification： benchmark and state of the art ［J］. Proceedings of the IEEE ， 2017 ， 105 （ 10 ）： 1865 - 1883 . doi: 10.1109/jproc.2017.2675998 http://dx.doi.org/10.1109/jproc.2017.2675998

SOLOVEITCHIK M ， DISKIN T ， MORIN E ， et al . Conditional frechet inception distance ［J/OL］. arXiv ， 2021 ： 2103 . 11521 .

HORÉ A ， ZIOU D . Image quality metrics： PSNR vs . SSIM ［C］// 2010 20th International Conference on Pattern Recognition . Istanbul ： IEEE ， 2010 ： 2366 - 2369 . doi: 10.1109/icpr.2010.579 http://dx.doi.org/10.1109/icpr.2010.579

HUYNH-THU Q ， GHANBARI M . Scope of validity of PSNR in image/video quality assessment ［J］. Electronics Letters ， 2008 ， 44 （ 13 ）： 800 - 801 . doi: 10.1049/el:20080522 http://dx.doi.org/10.1049/el:20080522

浏览量

126

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

高分辨率遥感图像的目标检测

基于CNN-Transformer结构的遥感影像变化检测

遥感图像目标检测的相似目标替换增广算法

双注意力随机选择全局上下文细粒度识别网络