基于侧窗滤波改进的神经网络非均匀性校正算法

黎明清; 王宇庆; 孙海江

doi:10.37188/CJLCD.2022-0423

您当前的位置：

首页 >

文章列表页 >

基于侧窗滤波改进的神经网络非均匀性校正算法

图像增强 | 更新时间：2023-11-03

- 基于侧窗滤波改进的神经网络非均匀性校正算法
- Improved neural network nonuniformity correction algorithm based on side window filter
- 液晶与显示 2023年38卷第11期页码：1567-1579
- 作者机构：
  
  1.中国科学院长春光学精密机械与物理研究所，吉林长春 130033
  2.中国科学院大学，北京 100049
- 作者简介：
  
  [ "黎明清（1998—），男，陕西安康人，硕士研究生，2020年于吉林大学获得学士学位，主要从事CMOS传感器应用、数字图像处理方面的研究。E-mail：limq6609@163.com" ]
  [ "王宇庆（1979—），男，吉林长春人，研究员，2008年于中国科学院长春光学精密机械与物理研究所获得博士学位，主要研究方向：基于人工智能的快速目标检测方法、人工智能芯片的研究与应用、面阵三维成像、嵌入式数字图像处理、图像质量评价等。E-mail：wyq7903@163.com" ]
- 基金信息：
- DOI：10.37188/CJLCD.2022-0423
  中图分类号： TP391;TN215
- 收稿日期：2022-12-20，
  
  修回日期：2023-02-18，
  
  纸质出版日期：2023-11-05
- 稿件说明：
移动端阅览
黎明清, 王宇庆, 孙海江. 基于侧窗滤波改进的神经网络非均匀性校正算法[J]. 液晶与显示, 2023,38(11):1567-1579.

LI Ming-qing, WANG Yu-qing, SUN Hai-jiang. Improved neural network nonuniformity correction algorithm based on side window filter[J]. Chinese journal of liquid crystals and displays, 2023, 38(11): 1567-1579.
黎明清, 王宇庆, 孙海江. 基于侧窗滤波改进的神经网络非均匀性校正算法[J]. 液晶与显示, 2023,38(11):1567-1579. DOI： 10.37188/CJLCD.2022-0423.

LI Ming-qing, WANG Yu-qing, SUN Hai-jiang. Improved neural network nonuniformity correction algorithm based on side window filter[J]. Chinese journal of liquid crystals and displays, 2023, 38(11): 1567-1579. DOI： 10.37188/CJLCD.2022-0423.

摘要

在红外焦平面阵列探测器（IRFPA）非均匀性校正问题中，传统的神经网络算法会出现图像边缘模糊、对比度低、“鬼影”等现象。针对此类现象，本文提出一种基于侧窗滤波改进的神经网络非均匀性校正算法。该算法首先对输入图像采用侧窗滤波获得期望图像，在去除非均匀性噪声的同时保护目标边缘细节达到提升图像质量的效果。在此基础上，通过饱和非线性函数抑制校正参数局部发散，能够有效避免校正后图像出现‘鬼影’问题。实验结果表明，使用本文提出的算法能够有效去除图像中的非均匀性噪声，且无明显“鬼影”现象。在3组测试图像序列中，平均图像粗糙度降低了30.17%。在实验计算机上连续处理400帧图像序列最大耗时为37.417 0 s，较基于双边滤波改进的对比算法耗时减少了95.05%，较基于小波主成分分析的对比算法耗时减少了45.81%。本文算法在非均匀性校正效果和算法运行效率方面具有明显优势，为小算力、低功耗移动平台实现实时非均匀性校正提供了新的研究思路。

Abstract

In the nonuniformity correction problem of infrared focal plane array detector （IRFPA）， the traditional neural network algorithm will appear the image edge blur， low contrast， ghosting artifacts and other phenomena. Aiming at these phenomena， this paper proposes an improved neural network nonuniformity correction algorithm based on side window filtering. The algorithm first uses side window filtering on the input image to obtain the desired image， and protects the edge details of the target while removing the non-uniform noise to improve the image quality. On this basis， it can effectively avoid the ghosting artifacts problem of the corrected image by suppressing the local divergence of the correction parameters through the saturated nonlinear function. The experimental results show that the algorithm proposed in this paper can effectively remove the non-uniform noise in the image， and there is no obvious ghosting artifacts phenomenon. The average image roughness of the three groups of test image sequences is reduced by 30.17%. The maximum time consumption for continuous processing of 400 image sequences on the experimental computer is 37.417 0 s， which is 95.05% less than that of the comparison algorithm improved based on bilateral filtering， and 45.81% less than that of the comparison algorithm based on wavelet principal component analysis. The algorithm in this paper has obvious advantages in nonuniformity correction effect and algorithm operation efficiency， which provides a new research idea for real-time nonuniformity correction on mobile platforms with small computational power and low power consumption.

关键词

Keywords

references

CAO Y ， YANG M Y ， TISSE C L . Effective strip noise removal for low-textured infrared images based on 1-D guided filtering ［J］. IEEE Transactions on Circuits & Systems for Video Technology ， 2016 ， 26 （ 12 ）： 2176 - 2188 . doi: 10.1109/tcsvt.2015.2493443 http://dx.doi.org/10.1109/tcsvt.2015.2493443

张葆，洪永丰，史光辉 . 非均匀性校正在红外杂散辐射抑制中的应用［J］. 光学精密工程， 2008 ， 16 （ 12 ）： 2421 - 2428 . doi: 10.3321/j.issn:1004-924X.2008.12.017 http://dx.doi.org/10.3321/j.issn:1004-924X.2008.12.017

ZHANG B ， HONG Y F ， SHI G H . Application of non-uniformity correction to stray radiation suppression of infrared optical system ［J］. Optics and Precision Engineering ， 2008 ， 16 （ 12 ）： 2421 - 2428 . （in Chinese） . doi: 10.3321/j.issn:1004-924X.2008.12.017 http://dx.doi.org/10.3321/j.issn:1004-924X.2008.12.017

XING S X ， ZHANG J ， SUN L ， et al . Two-point nonuniformity correction based on LMS ［C］// Proseedings of SPIE 5640 . Infrared Components and Their Applications. Beijing ： SPIE ， 2005 ： 130 - 136 . doi: 10.1117/12.566145 http://dx.doi.org/10.1117/12.566145

曲洪丰，王晓东，吕宝林 . 多通道输出面阵CCD图像非均匀性校正［J］. 液晶与显示， 2012 ， 27 （ 4 ）： 569 - 572 . doi: 10.3788/yjyxs20122704.0569 http://dx.doi.org/10.3788/yjyxs20122704.0569

QU H F ， WANG X D ， LV B L . Non-uniformity correction of mutiple output area CCD image ［J］. Chinese Journal of Liquid Crystals and Displays ， 2012 ， 27 （ 4 ）： 569 - 572 . （in Chinese） . doi: 10.3788/yjyxs20122704.0569 http://dx.doi.org/10.3788/yjyxs20122704.0569

顿雄，范永杰，金伟其，等 . 制冷焦平面高动态范围热成像非均匀校正系数与积分时间的关系［J］. 兵工学报， 2015 ， 36 （ 5 ）： 839 - 845 . doi: 10.3969/j.issn.1000-1093.2015.05.011 http://dx.doi.org/10.3969/j.issn.1000-1093.2015.05.011

DUN X ， FAN Y J ， JIN W Q ， et al . Relationship between integral time and two-point non-uniform correction for HDR imaging of cooled focal plane array ［J］. Acta Armamentarii ， 2015 ， 36 （ 5 ）： 839 - 845 . （in Chinese） . doi: 10.3969/j.issn.1000-1093.2015.05.011 http://dx.doi.org/10.3969/j.issn.1000-1093.2015.05.011

闫苏琪，杨世洪，王明富，等 . 基于最小二乘拟合的科学级CMOS传感器非均匀性校正［J］. 电子设计工程， 2018 ， 26 （ 7 ）： 151 - 155 . doi: 10.3969/j.issn.1674-6236.2018.07.034 http://dx.doi.org/10.3969/j.issn.1674-6236.2018.07.034

YAN S Q ， YANG S H ， WANG M F ， et al . Non-uniformity correction of scientific CMOS sensor based on the least squares fit ［J］. Electronic Design Engineering ， 2018 ， 26 （ 7 ）： 151 - 155 . （in Chinese） . doi: 10.3969/j.issn.1674-6236.2018.07.034 http://dx.doi.org/10.3969/j.issn.1674-6236.2018.07.034

张涛，李新阳，李剑峰，等 . 基于自适应多点法的sCMOS实时非均匀性校正［J］. 光电工程， 2021 ， 48 （ 5 ）： 210036 . doi: 10.12086/oee.2021.210036 http://dx.doi.org/10.12086/oee.2021.210036

ZHANG T ， LI X Y ， LI J F ， et al . sCMOS real-time nonuniformity correction based on adaptive multipoint method ［J］. Opto-Electron Eng ， 2021 ， 48 （ 5 ）： 210036 . （in Chinese） . doi: 10.12086/oee.2021.210036 http://dx.doi.org/10.12086/oee.2021.210036

钱润达，赵东，周慧鑫，等 . 基于加权引导滤波与时域高通滤波的非均匀性校正算法［J］. 红外与激光工程， 2018 ， 47 （ 12 ）： 1204001 . doi: 10.3788/irla201847.1204001 http://dx.doi.org/10.3788/irla201847.1204001

QIAN R D ， ZHAO D ， ZHOU H X ， et al . Non-uniformity correction algorithm based on weighted guided filter and temporal high-pass filter ［J］. Infrared and Laser Engineering ， 2018 ， 47 （ 12 ）： 1204001 . （in Chinese） . doi: 10.3788/irla201847.1204001 http://dx.doi.org/10.3788/irla201847.1204001

QIAN W X ， CHEN Q ， GU G H . Space low-pass and temporal high-pass nonuniformity correction algorithm ［J］. Optical Review . 2010 ， 17 （ 1 ）： 24 - 29 . doi: 10.1007/s10043-010-0005-8 http://dx.doi.org/10.1007/s10043-010-0005-8

刘亚梅 . 基于局部恒定统计的高精度联合非均匀性校正方法［J］. 光子学报， 2019 ， 48 （ 6 ）： 0604002 . doi: 10.3788/gzxb20194806.0604002 http://dx.doi.org/10.3788/gzxb20194806.0604002

LIU Y M . High-precision combined nonuniformity correction method based on local constant statistics ［J］. Acta Photonica Sinica ， 2019 ， 48 （ 6 ）： 0604002 （in Chinese） . doi: 10.3788/gzxb20194806.0604002 http://dx.doi.org/10.3788/gzxb20194806.0604002

孟思岐，任侃，路东明，等 . 一种基于恒定统计的红外图像非均匀性校正算法［J］. 应用光学， 2017 ， 38 （ 2 ）： 304 - 308 . doi: 10.5768/jao201738.0206002 http://dx.doi.org/10.5768/jao201738.0206002

MENG S Q ， KAN R ， Lu D M ， et al . A non-uniformity correction algorithm of infrared image sequences based on constant-statistics ［J］. Journal of Applied Optics ， 2017 ， 38 （ 2 ）： 304 - 308 . （in Chinese） . doi: 10.5768/jao201738.0206002 http://dx.doi.org/10.5768/jao201738.0206002

SCRIBNER D A ， SARKADY K A ， KRUER M R ， et al . Adaptive retina-like preprocessing for imaging detector arrays ［C］. // Proceedings of International Conference on Neural Networks . San Francisco ： IEEE ， 1993 ： 1955 - 1960 .

LIANG K ， YANG C L ， LI P ， et al . Nonuniformity correction based on focal plane array temperature in uncooled long-wave infrared cameras without a shutter ［J］. Applied optics ， 2017 ， 56 （ 4 ）： 884 - 889 . doi: 10.1364/ao.56.000884 http://dx.doi.org/10.1364/ao.56.000884

刘明忠，孟军，王雨蒙，等 . 一种基于核回归插值的自适应非均匀性校正算法［J］. 红外， 2018 ， 39 （ 7 ）： 29 - 34 . doi: 10.3969/j.issn.1672-8785.2018.07.006 http://dx.doi.org/10.3969/j.issn.1672-8785.2018.07.006

LIU M Z ， MENG J ， WANG Y M ， et al . An adaptive non-uniformity correction algorithm based on kernel regression interpolation ［J］. Infrared ， 2018 ， 39 （ 7 ）： 29 - 34 . （in Chinese） . doi: 10.3969/j.issn.1672-8785.2018.07.006 http://dx.doi.org/10.3969/j.issn.1672-8785.2018.07.006

LAI R ， YANG Y T ， ZHOU D ， et al . Improved neural network based scene-adaptive nonuniformity correction method for infrared focal plane arrays ［J］. Applied Optics . 2008 ， 47 （ 24 ）： 4331 - 4335 . doi: 10.1364/ao.47.004331 http://dx.doi.org/10.1364/ao.47.004331

张龙，董峰，傅雨田 . 基于神经网络的红外图像非均匀性校正［J］. 红外技术， 2018 ， 40 （ 2 ）： 164 - 169 .

ZHANG L ， DONG F ， YUTIAN F U . Non-uniformity correction for infrared image using neural networks ［J］. Infrared Technology ， 2018 ， 40 （ 2 ）： 164 - 169 . （in Chinese）

ZHANG T ， LI X ， LI J ， et al . Elimination of CMOS fixed pattern noise based on PCA wavelet transform ［C］// Proceedings of SPIE 11763， Seventh Symposium on Novel Photoelectronic Detection Technology and Applications . Kunming ： SPIE ， 1176347 . doi: 10.1117/12.2586899 http://dx.doi.org/10.1117/12.2586899

YANG J H ， ZHAO X L ， MA T H ， et al . Remote sensing images destriping using unidirectional hybrid total variation and nonconvex low-rank regularization ［J］. J. Comput. Appl. Math. ， 2020 ， 363 ： 124 - 144 . doi: 10.1016/j.cam.2019.06.004 http://dx.doi.org/10.1016/j.cam.2019.06.004

牟新刚，崔健，周晓 . 基于全卷积网络的红外图像非均匀性校正算法［J］. 红外技术， 2022 ， 44 （ 1 ）： 21 - 27 . doi: 10.11846/j.issn.1001-8891.2022.1.hwjs202201003 http://dx.doi.org/10.11846/j.issn.1001-8891.2022.1.hwjs202201003

MOU X G ， CUI J ， ZHOU X . Infrared image non-uniformity correction algorithm based on full convolutional network ［J］. Infrared Technology ， 2022 ， 44 （ 1 ）： 21 - 27 . （in Chinese） . doi: 10.11846/j.issn.1001-8891.2022.1.hwjs202201003 http://dx.doi.org/10.11846/j.issn.1001-8891.2022.1.hwjs202201003

YIN H ， GONG Y ， QIU G . Side window filtering ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach ： IEEE ， 2019 ： 8758 - 8766 . doi: 10.1109/cvpr.2019.00896 http://dx.doi.org/10.1109/cvpr.2019.00896

RONG S ， ZHOU H ， WEN Z ， et al . An improved non-uniformity correction algorithm and its hardware implementation on FPGA ［J］. Infrared Physics & Technology ， 85 （ 2017 ）， 410 - 420 . doi: 10.1016/j.infrared.2017.07.007 http://dx.doi.org/10.1016/j.infrared.2017.07.007

张菲菲，王文龙，马国锐，等 . 基于非局部均值滤波与神经网络的红外焦平面阵列非均匀性校正算法［J］. 红外技术， 2015 ， 37 （ 4 ）： 265 - 271 . doi: 10.11846/j.issn.1001_8891.201504001 http://dx.doi.org/10.11846/j.issn.1001_8891.201504001

ZHANG F F ， WANG W L ， MA G R ， et al . Neural network nonuniformity correction algorithm for infrared focal plane array based on non-local means filter ［J］. Infrared Technology ， 2015 ， 37 （ 4 ）： 265 - 271 . （in Chinese） . doi: 10.11846/j.issn.1001_8891.201504001 http://dx.doi.org/10.11846/j.issn.1001_8891.201504001

孙晓亮，郭良超，张文龙，等 . 复杂背景下红外弱小运动目标检测数据集［DB/OL］. Science Data Bank ， 2021 . （ 2021-04-25 ）.

SUN X L ， GUO L C ， ZHANG W L ， et al . Detection data set of infrared small and weak moving targets in complex background ［DB/OL］. Science Data Bank ， 2021 . （ 2021-04-25 ）. （in Chinese）

WU Z ， FULLER N ， THERIAULT D ， et al . A thermal infrared video benchmark for visual analysis ［C］. Computer Vision & Pattern Recognition Workshops . Columbus， OH， USA ： IEEE ， 2014 ： 201 - 208 . doi: 10.1109/cvprw.2014.39 http://dx.doi.org/10.1109/cvprw.2014.39

ZHANG T ， LI X Y ， LI J F ， et al . CMOS fixed pattern noise elimination based on sparse unidirectional hybrid total variation ［J］. Sensors ， 2020 ， 20 （ 19 ）： 5567 . doi: 10.3390/s20195567 http://dx.doi.org/10.3390/s20195567

CAO Y Q ， HE Z W ， YANG J X ， et al . Spatially adaptive column fixed-pattern noise correction in infrared imaging system using 1D horizontal differential statistics ［J］. IEEE Photonics Journal ， 2017 ， 9 （ 5 ）： 7803513 . doi: 10.1109/jphot.2017.2752000 http://dx.doi.org/10.1109/jphot.2017.2752000

浏览量

254

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于迭代传播网络的快速鲁棒的微光图像增强

FRKDNet：基于知识蒸馏的特征提炼语义分割网络

面向光场显示的虚拟视点生成技术进展

基于多种眼动行为的裸眼3D显示视觉疲劳评估方法