Remote sensing image data enhancement based on improved SinGAN

PENG Yan-fei; DENG Jia-nan; WANG Gang

doi:10.37188/CJLCD.2022-0207

您当前的位置：

首页 >

文章列表页 >

Remote sensing image data enhancement based on improved SinGAN

Image Processing | 更新时间：2023-03-15

- Remote sensing image data enhancement based on improved SinGAN
- Chinese Journal of Liquid Crystals and Displays Vol. 38, Issue 3, Pages: 387-396(2023)
- 作者机构：
  
  1.辽宁工程技术大学电子与信息工程学院，辽宁葫芦岛 125105
  2.渤海船舶职业学院，辽宁葫芦岛 125105
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(61772249);Basic Scientific Research Project of Liaoning Provincial Colleges and Universities(LJKZ0358);Double First-class Discipline Innovation Team Funded By Liaoning Technical University(LNTU20TD-27)
- DOI：10.37188/CJLCD.2022-0207
  CLC： TP391
- Received：21 June 2022，
  
  Revised：17 July 2022，
  
  Published：05 March 2023
- 稿件说明：
移动端阅览
PENG Yan-fei, DENG Jia-nan, WANG Gang. Remote sensing image data enhancement based on improved SinGAN[J]. Chinese journal of liquid crystals and displays, 2023, 38(3): 387-396.
DOI：

PENG Yan-fei, DENG Jia-nan, WANG Gang. Remote sensing image data enhancement based on improved SinGAN[J]. Chinese journal of liquid crystals and displays, 2023, 38(3): 387-396. DOI： 10.37188/CJLCD.2022-0207.

摘要

随着遥感技术的发展，遥感图像被大量应用于遥感图像识别、分割等领域。但遥感图像数量少、质量低以及多样性不足等问题阻碍了遥感解译等后续研究的性能提升，如何利用少量的遥感图像生成大量的数据集是目前亟待解决的问题。针对这一问题，本文以SinGAN网络为基础，将一种新的纯卷积网络ConvNeXt与之结合来构建遥感图像数据增强框架。实验结果表明，在遥感数据集NWPU-RESISC45 Dataset上，结合ConvNeXt卷积网络进行数据增强后的图像，其FID、SSIM和PSNR这3种GAN与图像质量评价指标分别提升了5.7%、6.2%和8.2%。基于改进SinGAN的遥感图像数据增强方法进行增强后的图像质量与多样性均优于SinGAN算法与传统图像增强方法，实际中可用于图像分割、目标检测等领域。

Abstract

With the development of remote sensing technology， remote sensing images have been applied to a large number of fields such as remote sensing image recognition and segmentation detection. However， the problems of lack of remote sensing images， low quality and insufficient diversity hinder the performance improvement of remote sensing interpretation and other subsequent researches， and how to use a small amount of remote sensing images to generate a large number of datasets is an urgent problem at present. To address this problem， this paper combines a new pure convolutional network， ConvNeXt， with SinGAN network to build a remote sensing image data enhancement framework. Combined with ConvNeXt convolution network， the three image quality evaluation indexes of FID， SSIM and PSNR are increased by 5.7%， 6.2% and 8.2%， respectively， on the remote sensing dataset NWPU-RESISC45 Dataset after combining ConvNeXt convolutional network for data enhancement. The quality and diversity of the data enhanced images based on the improved SinGAN remote sensing image data enhancement method are better than the SinGAN algorithm and the traditional image enhancement method， which can be used in remote sensing interpretation， change detection and other fields in practice.

关键词

Keywords

references

马洪祥 . 基于对抗学习的遥感图像数据增强技术研究［D］. 西安：西安电子科技大学， 2021 .

MA H X . Research on remote sensing image data augmentation based on adversarial learning ［D］. Xi'an ： Xidian University ， 2021 . （in Chinese）

王浩，张叶，沈宏海，等 . 图像增强算法综述［J］. 中国光学， 2017 ， 10 （ 4 ）： 438 - 448 . doi: 10.3788/co.20171004.0438 http://dx.doi.org/10.3788/co.20171004.0438

WANG H ， ZHANG Y ， SHEN H H ， et al . Review of image enhancement algorithms ［J］. Chinese Optics ， 2017 ， 10 （ 4 ）： 438 - 448 . （in Chinese） . doi: 10.3788/co.20171004.0438 http://dx.doi.org/10.3788/co.20171004.0438

MIRZA M ， OSINDERO S . Conditional generative adversarial nets ［J/OL］. arXiv ： 2014 ： 1411 . 1784 .

CHEN C ， MA H X ， YAO G R ， et al . Remote sensing image augmentation based on text description for waterside change detection ［J］. Remote Sensing ， 2021 ， 13 （ 10 ）： 1894 . doi: 10.3390/rs13101894 http://dx.doi.org/10.3390/rs13101894

SHAHAM T R ， DEKEL T ， MICHAELI T . SinGAN： learning a generative model from a single natural image ［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision . Seoul ： IEEE ， 2019 ： 4569 - 4579 . doi: 10.1109/iccv.2019.00467 http://dx.doi.org/10.1109/iccv.2019.00467

陈清江，张雪，柴昱洲 . 基于卷积神经网络的图像去雾算法［J］. 液晶与显示， 2019 ， 34 （ 2 ）： 220 - 227 . doi: 10.3788/yjyxs20193402.0220 http://dx.doi.org/10.3788/yjyxs20193402.0220

CHEN Q J ， ZHANG X ， CHAI Y Z . Image defogging algorithms based on multiscale convolution neural network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 2 ）： 220 - 227 . （in Chinese） . doi: 10.3788/yjyxs20193402.0220 http://dx.doi.org/10.3788/yjyxs20193402.0220

DOSOVITSKIY A ， BEYER L ， KOLESNIKOV A ， et al . An image is worth 16×16 words： transformers for image recognition at scale ［C］// Proceedings of the 9th International Conference on Learning Representations . Raleigh ： ICLR ， 2011 .

VASWANI A ， SHAZEER N ， PARMAR N ， et al . Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems . Long Beach ： Curran Associates Inc. ， 2017 ： 6000 - 6010 .

ALKHAMISSI B ， DIAB M . Meta AI at Arabic hate speech 2022： MultiTask learning with self-correction for hate speech classification ［C］// Proceedinsg of the 5th Workshop on Open-Source Arabic Corpora and Processing Tools with Shared Tasks on Qur’an QA and Fine-Grained Hate Speech Detection . Marseille ： European Language Resources Association ， 2022 ： 186 - 193 .

LIU Z ， LIN Y T ， CAO Y ， et al . Swin transformer： hierarchical vision transformer using shifted windows ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision . Montreal ： IEEE ， 2021 ： 9992 - 10002 . doi: 10.1109/iccv48922.2021.00986 http://dx.doi.org/10.1109/iccv48922.2021.00986

HASSANIEN M A ， SINGH V K ， PUIG D ， et al . Predicting breast tumor malignancy using deep ConvNeXt Radiomics and quality-based score pooling in ultrasound sequences ［J］. Diagnostics ， 2022 ， 12 （ 5 ）： 1053 . doi: 10.3390/diagnostics12051053 http://dx.doi.org/10.3390/diagnostics12051053

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

YI X ， WALIA E ， BABYN P . Generative adversarial network in medical imaging： a review ［J］. Medical Image Analysis ， 2019 ， 58 ： 101552 . doi: 10.1016/j.media.2019.101552 http://dx.doi.org/10.1016/j.media.2019.101552

HINZ T ， FISHER M ， WANG O ， et al . Improved techniques for training single-image GANs ［C］// Proceedings of the 2021 IEEE Winter Conference on Applications of Computer Vision . Waikoloa ： IEEE ， 2021 ： 1299 - 1308 . doi: 10.1109/wacv48630.2021.00134 http://dx.doi.org/10.1109/wacv48630.2021.00134

ALMAHAIRI A ， RAJESWAR S ， SORDONI A ， et al . Augmented cycleGAN： learning many-to-many mappings from unpaired data ［C］// Proceedings of the 35th International Conference on Machine Learning . Stockholm ： PMLR ， 2018 ： 195 - 204 .

HAN C ， MURAO K ， NOGUCHI T ， et al . Learning more with less： conditional PGGAN-based data augmentation for brain metastases detection using highly-rough annotation on MR images ［C］// Proceedings of the 28th ACM International Conference on Information and Knowledge Management . Beijing ： Association for Computing Machinery ， 2019 ： 119 - 127 . doi: 10.1145/3357384.3357890 http://dx.doi.org/10.1145/3357384.3357890

LIU Z ， MAO H Z ， WU C Y ， et al . A ConvNet for the 2020s ［C］// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans ： IEEE ， 2022 ： 11966 - 11976 . doi: 10.1109/cvpr52688.2022.01167 http://dx.doi.org/10.1109/cvpr52688.2022.01167

SANDLER M ， HOWARD A ， ZHU M L ， et al . MobileNetV2： inverted residuals and linear bottlenecks ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 4510 - 4520 . doi: 10.1109/cvpr.2018.00474 http://dx.doi.org/10.1109/cvpr.2018.00474

王星，高峰，陈吉，等 . 基于GAN网络的煤岩图像样本生成方法［J］. 煤炭学报， 2021 ， 46 （ 9 ）： 3066 - 3078 .

WANG X ， GAO F ， CHEN J ， et al . Generative adversarial networks based sample generation of coal and rock images ［J］. Journal of China Coal Society ， 2021 ， 46 （ 9 ）： 3066 - 3078 . （in Chinese）

GULRAJANI I ， AHMED F ， ARJOVSKY M ， et al . Improved training of wasserstein GANs ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems . Long Beach ： Curran Associates Inc. ， 2017 ： 5769 - 5779 .

HARB R ， KNÖBELREITER P . InfoSeg： unsupervised semantic image segmentation with mutual information maximization ［C］// Proceedings of the 43rd DAGM German Conference on Pattern Recognition . Bonn ： Springer ， 2021 ： 18 - 32 . doi: 10.1007/978-3-030-92659-5_2 http://dx.doi.org/10.1007/978-3-030-92659-5_2

王春哲，安军社，姜秀杰，等 . 基于卷积神经网络的候选区域优化算法［J］. 中国光学， 2019 ， 12 （ 6 ）： 1348 - 1361 . doi: 10.3788/co.20191206.1348 http://dx.doi.org/10.3788/co.20191206.1348

WANG C Z ， AN J S ， JIANG X J ， et al . Region proposal optimization algorithm based on convolutional neural networks ［J］. Chinese Optics ， 2019 ， 12 （ 6 ）： 1348 - 1361 . doi: 10.3788/co.20191206.1348 http://dx.doi.org/10.3788/co.20191206.1348

CHENG G ， HAN J W ， LU X Q . Remote sensing image scene classification： benchmark and state of the art ［J］. Proceedings of the IEEE ， 2017 ， 105 （ 10 ）： 1865 - 1883 . doi: 10.1109/jproc.2017.2675998 http://dx.doi.org/10.1109/jproc.2017.2675998

SOLOVEITCHIK M ， DISKIN T ， MORIN E ， et al . Conditional frechet inception distance ［J/OL］. arXiv ， 2021 ： 2103 . 11521 .

HORÉ A ， ZIOU D . Image quality metrics： PSNR vs . SSIM ［C］// 2010 20th International Conference on Pattern Recognition . Istanbul ： IEEE ， 2010 ： 2366 - 2369 . doi: 10.1109/icpr.2010.579 http://dx.doi.org/10.1109/icpr.2010.579

HUYNH-THU Q ， GHANBARI M . Scope of validity of PSNR in image/video quality assessment ［J］. Electronics Letters ， 2008 ， 44 （ 13 ）： 800 - 801 . doi: 10.1049/el:20080522 http://dx.doi.org/10.1049/el:20080522

Views

153

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Object detection methods for high resolution remote sensing images

Remote sensing image change detection based on CNN-Transformer structure

Similar target replacement for remote sensing object detection data augmentation

Dual-attention random selection global context fine-grained recognition network

Related Author

DENG Jia-nan

ZHANG Dehao

WANG Yuqing

TANG Yanhui

LIANG Haixiang

PAN Mengyang

FAN Xianghui

YANG Hang

Related Institution

University of Chinese Academy of Sciences

Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences

College of Information and Control Engineering， Xi'an University of Architecture and Technology

CCCC Tunnel Engineering Company Limited

Traffic Engineering Construction Bureau of Jiangsu Province

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰