基于改进BEGAN的钢材缺陷图像数据增强方法

赵健宏; 杨华民; 隋意; 王鹏

doi:10.37188/CJLCD.2026-0031

您当前的位置：

首页 >

文章列表页 >

基于改进BEGAN的钢材缺陷图像数据增强方法

图像处理 | 更新时间：2026-09-12

- 基于改进BEGAN的钢材缺陷图像数据增强方法
- Data augmentation method for steel defect images based on improved BEGAN
- 液晶与显示 2026年41卷第4期页码：523-533
- 作者机构：
  
  1.长春理工大学计算机科学技术学院，吉林长春 130022
  2.吉林省大数据科学与工程联合重点实验室，吉林长春 130022
  3.吉林省网络数据库应用软件科技创新中心，吉林长春 130022
  4.包头稀土研究院白云鄂博稀土资源研究与综合利用国家重点实验室，内蒙古包头 014030
- 作者简介：
  
  赵健宏，男，博士研究生，2016年于四川大学获得学士学位，主要从事计算机视觉材料分析方面的研究。E-mail： cancerhusky@ hotmail.com
  杨华民，男，博士，教授，2007年于长春理工大学获得博士学位，主要从事光学工程与计算机领域的研究。E-mail： 13504330011@163.com
- 基金信息：
  
  吉林省科技创新平台建设项目(YDZJ202302CXJD027)
- DOI：10.37188/CJLCD.2026-0031
  中图分类号： TP391
- CSTR：32172.14.CJLCD.2026-0031
- 收稿：2026-03-10，
  
  修回：2026-03-20，
  
  纸质出版：2026-04-05
- 稿件说明：
移动端阅览
赵健宏, 杨华民, 隋意, 等. 基于改进BEGAN的钢材缺陷图像数据增强方法[J]. 液晶与显示, 2026,41(4):523-533.

ZHAO Jianhong, YANG Huamin, SUI Yi, et al. Data augmentation method for steel defect images based on improved BEGAN[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(4): 523-533.
赵健宏, 杨华民, 隋意, 等. 基于改进BEGAN的钢材缺陷图像数据增强方法[J]. 液晶与显示, 2026,41(4):523-533. DOI： 10.37188/CJLCD.2026-0031. CSTR： 32172.14.CJLCD.2026-0031.

ZHAO Jianhong, YANG Huamin, SUI Yi, et al. Data augmentation method for steel defect images based on improved BEGAN[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(4): 523-533. DOI： 10.37188/CJLCD.2026-0031. CSTR： 32172.14.CJLCD.2026-0031.

摘要

材料科学研究在逐渐开发由计算机视觉主导的深度学习方法，然而目前有限的实验数据难以支撑此类基于大数据的方法探索。针对以上问题，本文提出一种改进的边界均衡生成对抗网络（Boundary Equilibrium Generative Adversarial Networks， BEGAN）的数据增强模型。首先，将生成器网络中归一化的方式改为谱归一化，相比批归一化降低了对训练样本量的需求；其次，在模型的生成器/解码器中加入残差模块，避免了过拟合现象出现并加速模型训练；最后，加入自注意力机制，加强模型对缺陷细节的提取能力，训练过程损失参数收敛更加平滑和迅速。利用公开钢材缺陷数据集进行了消融实验和对比实验，通过两项生成网络评价指标和分类网络正确率证明改进模型质量显著优于对比实验中4种主流生成模型，相比BEGAN模型的生成数据集，图像分类算法的效果提高了5.55%；FID值下降了54.35%；IS值提高了18.18%，并通过实际应用实验确认生成数据的效果足以应对小样本过拟合问题。

Abstract

Materials science research is trying to develop deep learning-based computer vision methods， but currently limited experimental data is difficult to support the exploration of such big data-based methods. This paper proposes an improved boundary equilibrium generative adversarial network （BEGAN） data augmentation model to address this issue. Firstly， replacing the normalization method in the generator network with spectral normalization reduces the requirement for training sample size compared to batch normalization； Secondly， adding residual modules to the generator/decoder of the model avoids overfitting and accelerates model training； Finally， a self-attention mechanism is added to enhance the model’s ability to extract defect details， resulting in smoother and faster convergence of loss parameters during the training process. This paper conducted ablation experiments and comparative experiments using a public dataset of steel defects. Through two evaluation metrics and classification network accuracy， the experiments demonstrated that the improved model significantly outperforms four mainstream generative models. Compared to the BEGAN model’s generative dataset， the image classification performance improved by 5.55%； the FID value decreased by 54.35%； the IS value increased by 18.18%. The performance of generated specimens proved this improved method is sufficient as an image enhancement method to cope with small sample problems.

关键词

Keywords

references

YUE J Y ， LIU X Y ， SUI Y ， et al . Combined effect of Y 2 O 3 nanoparticles and Si second-phase oxide on microstructure and wear resistance of plasma-clad steel coating ［J］. Surface and Coatings Technology ， 2020 ， 403 ： 126348 . doi: 10.1016/j.surfcoat.2020.126348 http://dx.doi.org/10.1016/j.surfcoat.2020.126348

刘小鱼，隋意，杨利峰，等 . 纳米Y 2 O 3 对14CrSiMnV硬质合金涂层耐磨耐热氧化性影响［J］. 中国稀土学报， 2020 ， 38 （ 5 ）： 688 - 695 . doi: 10.11785/S1000-4343.20200514 http://dx.doi.org/10.11785/S1000-4343.20200514

LIU X Y ， SUI Y ， YANG L F ， et al . Effect of Nano-Yttria on friction and thermal oxidation resistance of 14CrSiMnV alloy coatings ［J］. Journal of the Chinese Society of Rare Earths ， 2020 ， 38 （ 5 ）： 688 - 695 . （in Chinese） . doi: 10.11785/S1000-4343.20200514 http://dx.doi.org/10.11785/S1000-4343.20200514

刘小鱼，隋意，岳俊宇，等 . 微量纳米氧化钇对激光熔覆法制备的17Cr2NiSi铁合金涂层耐磨耐热氧化性能的影响［J］. 稀土， 2020 ， 41 （ 5 ）： 11 - 18 . doi: 10.16533/J.CNKI.15-1099/TF.20200039 http://dx.doi.org/10.16533/J.CNKI.15-1099/TF.20200039

LIU X Y ， SUI Y ， YUE J Y ， et al . Effect of small addition of Nano-yttria on wear and oxidation resistance of 17Cr2NiSi alloy coating prepared by laser cladding ［J］. Chinese Rare Earths ， 2020 ， 41 （ 5 ）： 11 - 18 . （in Chinese） . doi: 10.16533/J.CNKI.15-1099/TF.20200039 http://dx.doi.org/10.16533/J.CNKI.15-1099/TF.20200039

WEI Z Y ， XU W J ， DONG S Y ， et al . Ultraprecision， high-capacity， and wide-gamut structural colors enabled by a mixture probability sampling network ［J］. Light： Science & Applications ， 2026 ， 15 （ 1 ）： 164 . doi: 10.1038/s41377-025-02122-3 http://dx.doi.org/10.1038/s41377-025-02122-3

陈名渝，谢玥辰，吕雄涛，等 . 冷轧钢表面与内部缺陷检测研究［J］. 中国光学（中英文）， 2024 ， 17 （ 4 ）： 823 - 833 . doi: 10.37188/co.2023-0189 http://dx.doi.org/10.37188/co.2023-0189

CHEN M Y ， XIE Y C ， LV X T ， et al . Detection of surface and internal defects in cold rolled steel ［J］. Chinese Optics ， 2024 ， 17 （ 4 ）： 823 - 833 . （in Chinese） . doi: 10.37188/co.2023-0189 http://dx.doi.org/10.37188/co.2023-0189

LU L P ， ZHOU S ， SHU Y F ， et al . High-throughput transport-of-intensity quantitative phase imaging with aberration correction ［J］. Light： Advanced Manufacturing ， 2024 ， 5 （ 4 ）： 45 . doi: 10.37188/lam.2024.045 http://dx.doi.org/10.37188/lam.2024.045

CHEN X X ， WANG X M ， ZHANG K ， et al . Recent advances and clinical applications of deep learning in medical image analysis ［J］. Medical Image Analysis ， 2022 ， 79 ： 102444 .

MEGAHED M ， MOHAMMED A . A comprehensive review of generative adversarial networks： fundamentals， applications， and challenges ［J］. WIREs Computational Statistics ， 2024 ， 16 （ 1 ）： e1629 . doi: 10.1002/wics.1629 http://dx.doi.org/10.1002/wics.1629

RADFORD A ， METZ L ， CHINTALA S . Unsupervised representation learning with deep convolutional generative adversarial networks ［C］. 4th International Conference on Learning Representations . San Juan ： OpenReview.net ， 2016 .

ARJOVSKY M ， CHINTALA S ， BOTTOU L . Wasserstein generative adversarial networks ［C］// Proceedings of the 34th International Conference on Machine Learning . Sydney ： JMLR.org ， 2017 ： 214 - 223 . doi: 10.1088/1742-6596/2586/1/012157 http://dx.doi.org/10.1088/1742-6596/2586/1/012157

MAO X D ， LI Q ， XIE H R ， et al . Least squares generative adversarial networks ［C］. IEEE International Conference on Computer Vision . Venice ： IEEE ， 2017 ： 2813 - 2821 . doi: 10.1109/iccv.2017.304 http://dx.doi.org/10.1109/iccv.2017.304

何翔，杨爱军，黎健生，等 . 基于cycleGAN的太阳电池电致发光图像数据增强方法［J］. 液晶与显示， 2024 ， 39 （ 8 ）： 1057 - 1069 . doi: 10.37188/CJLCD.2023-0234 http://dx.doi.org/10.37188/CJLCD.2023-0234

HE X ， YANG A J ， LI J S ， et al . Electroluminescence defect image augmentation method of solar cell based on cycleGAN ［J］. Chinese Journal of Liquid Crystals and Displays ， 2024 ， 39 （ 8 ）： 1057 - 1069 . （in Chinese） . doi: 10.37188/CJLCD.2023-0234 http://dx.doi.org/10.37188/CJLCD.2023-0234

BERTHELOT D ， SCHUMM T ， METZ L . BEGAN： boundary equilibrium generative adversarial networks ［J/OL］. arXiv ， 2017 ： 1703 . 10717 . doi: 10.48550/arXiv.1703.10717 http://dx.doi.org/10.48550/arXiv.1703.10717

REN X Y ， HUI Q ， ZHAO X K ， et al . BESRGAN： boundary equilibrium face super-resolution generative adversarial networks ［J］. IET Image Processing ， 2023 ， 17 （ 6 ）： 1784 - 1796 . doi: 10.1049/ipr2.12755 http://dx.doi.org/10.1049/ipr2.12755

时培明，申世春，叶蕾，等 . 基于改进 DCGAN 网络的钢材表面缺陷图像数据增强方法［J］. 计量学报， 2025 ， 46 （ 9 ）： 1377 - 1384 .

SHI P M ， SHEN S C ， YE L ， et al . Steel surface defect image data enhancement method based on improved DCGAN network ［J］. Acta Metrologica Sinica ， 2025 ， 46 （ 9 ）： 1377 - 1384 . （in Chinese）

颜贝，张礼，张建林，等 . 基于残差结构的对抗式网络图像生成方法［J］. 激光与光电子学进展， 2020 ， 57 （ 18 ）： 181504 . doi: 10.3788/LOP57.181504 http://dx.doi.org/10.3788/LOP57.181504

YAN B ， ZHANG L ， ZHANG J L ， et al . Image generation method for adversarial network based on residual structure ［J］. Laser & Optoelectronics Progress ， 2020 ， 57 （ 18 ）： 181504 . （in Chinese） . doi: 10.3788/LOP57.181504 http://dx.doi.org/10.3788/LOP57.181504

YOSHIDA Y ， MIYATO T . Spectral norm regularization for improving the generalizability of deep learning ［J/OL］. arXiv ， 2017 ： 1705 . 10941 .

于文家，丁世飞 . 基于自注意力机制的条件生成对抗网络［J］. 计算机科学， 2021 ， 48 （ 1 ）： 241 - 246 . doi: 10.11896/jsjkx.200700187 http://dx.doi.org/10.11896/jsjkx.200700187

YU W J ， DING S F . Conditional generative adversarial network based on self-attention mechanism ［J］. Computer Science ， 2021 ， 48 （ 1 ）： 241 - 246 . （in Chinese） . doi: 10.11896/jsjkx.200700187 http://dx.doi.org/10.11896/jsjkx.200700187

SONG K C ， YAN Y H . A noise robust method based on completed local binary patterns for hot-rolled steel strip surface defects ［J］. Applied Surface Science ， 2013 ， 285 ： 858 - 864 . doi: 10.1016/j.apsusc.2013.09.002 http://dx.doi.org/10.1016/j.apsusc.2013.09.002

HEUSEL M ， RAMSAUER H ， UNTERTHINER T ， et al . GANs trained by a two time-scale update rule converge to a local Nash equilibrium ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems . Long Beach ： Curran Associates Inc. ， 2017 ： 6629 - 6640 . doi: 10.48550/arXiv.1706.08500 http://dx.doi.org/10.48550/arXiv.1706.08500

BARRATT S ， SHARMA R . A note on the inception score ［J/OL］. arXiv ， 2018 ： 1801 . 01973 .

浏览量

441

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于空间温度扩散的OLED亮度均匀性补偿

Madulous：基于多重注意力的双分支交通目标检测算法

基于ViT与联合优化策略的医学图像分割

基于偏振激光直写光取向的液晶几何相位平面光学元件

低功耗边缘场切换液晶显示器挠曲电系数差值与闪烁的定量关系