Improved neural network nonuniformity correction algorithm based on side window filter

LI Ming-qing; WANG Yu-qing; SUN Hai-jiang

doi:10.37188/CJLCD.2022-0423

您当前的位置：

首页 >

文章列表页 >

Improved neural network nonuniformity correction algorithm based on side window filter

Image Enhancement | 更新时间：2023-11-03

- Improved neural network nonuniformity correction algorithm based on side window filter
- Chinese Journal of Liquid Crystals and Displays Vol. 38, Issue 11, Pages: 1567-1579(2023)
- 作者机构：
  
  1.中国科学院长春光学精密机械与物理研究所，吉林长春 130033
  2.中国科学院大学，北京 100049
- 作者简介：
- 基金信息：
- DOI：10.37188/CJLCD.2022-0423
  CLC： TP391;TN215
- Received：20 December 2022，
  
  Revised：18 February 2023，
  
  Published：05 November 2023
- 稿件说明：
移动端阅览
LI Ming-qing, WANG Yu-qing, SUN Hai-jiang. Improved neural network nonuniformity correction algorithm based on side window filter[J]. Chinese journal of liquid crystals and displays, 2023, 38(11): 1567-1579.
DOI：

LI Ming-qing, WANG Yu-qing, SUN Hai-jiang. Improved neural network nonuniformity correction algorithm based on side window filter[J]. Chinese journal of liquid crystals and displays, 2023, 38(11): 1567-1579. DOI： 10.37188/CJLCD.2022-0423.

摘要

在红外焦平面阵列探测器（IRFPA）非均匀性校正问题中，传统的神经网络算法会出现图像边缘模糊、对比度低、“鬼影”等现象。针对此类现象，本文提出一种基于侧窗滤波改进的神经网络非均匀性校正算法。该算法首先对输入图像采用侧窗滤波获得期望图像，在去除非均匀性噪声的同时保护目标边缘细节达到提升图像质量的效果。在此基础上，通过饱和非线性函数抑制校正参数局部发散，能够有效避免校正后图像出现‘鬼影’问题。实验结果表明，使用本文提出的算法能够有效去除图像中的非均匀性噪声，且无明显“鬼影”现象。在3组测试图像序列中，平均图像粗糙度降低了30.17%。在实验计算机上连续处理400帧图像序列最大耗时为37.417 0 s，较基于双边滤波改进的对比算法耗时减少了95.05%，较基于小波主成分分析的对比算法耗时减少了45.81%。本文算法在非均匀性校正效果和算法运行效率方面具有明显优势，为小算力、低功耗移动平台实现实时非均匀性校正提供了新的研究思路。

Abstract

In the nonuniformity correction problem of infrared focal plane array detector （IRFPA）， the traditional neural network algorithm will appear the image edge blur， low contrast， ghosting artifacts and other phenomena. Aiming at these phenomena， this paper proposes an improved neural network nonuniformity correction algorithm based on side window filtering. The algorithm first uses side window filtering on the input image to obtain the desired image， and protects the edge details of the target while removing the non-uniform noise to improve the image quality. On this basis， it can effectively avoid the ghosting artifacts problem of the corrected image by suppressing the local divergence of the correction parameters through the saturated nonlinear function. The experimental results show that the algorithm proposed in this paper can effectively remove the non-uniform noise in the image， and there is no obvious ghosting artifacts phenomenon. The average image roughness of the three groups of test image sequences is reduced by 30.17%. The maximum time consumption for continuous processing of 400 image sequences on the experimental computer is 37.417 0 s， which is 95.05% less than that of the comparison algorithm improved based on bilateral filtering， and 45.81% less than that of the comparison algorithm based on wavelet principal component analysis. The algorithm in this paper has obvious advantages in nonuniformity correction effect and algorithm operation efficiency， which provides a new research idea for real-time nonuniformity correction on mobile platforms with small computational power and low power consumption.

关键词

Keywords

references

CAO Y ， YANG M Y ， TISSE C L . Effective strip noise removal for low-textured infrared images based on 1-D guided filtering ［J］. IEEE Transactions on Circuits & Systems for Video Technology ， 2016 ， 26 （ 12 ）： 2176 - 2188 . doi: 10.1109/tcsvt.2015.2493443 http://dx.doi.org/10.1109/tcsvt.2015.2493443

张葆，洪永丰，史光辉 . 非均匀性校正在红外杂散辐射抑制中的应用［J］. 光学精密工程， 2008 ， 16 （ 12 ）： 2421 - 2428 . doi: 10.3321/j.issn:1004-924X.2008.12.017 http://dx.doi.org/10.3321/j.issn:1004-924X.2008.12.017

ZHANG B ， HONG Y F ， SHI G H . Application of non-uniformity correction to stray radiation suppression of infrared optical system ［J］. Optics and Precision Engineering ， 2008 ， 16 （ 12 ）： 2421 - 2428 . （in Chinese） . doi: 10.3321/j.issn:1004-924X.2008.12.017 http://dx.doi.org/10.3321/j.issn:1004-924X.2008.12.017

XING S X ， ZHANG J ， SUN L ， et al . Two-point nonuniformity correction based on LMS ［C］// Proseedings of SPIE 5640 . Infrared Components and Their Applications. Beijing ： SPIE ， 2005 ： 130 - 136 . doi: 10.1117/12.566145 http://dx.doi.org/10.1117/12.566145

曲洪丰，王晓东，吕宝林 . 多通道输出面阵CCD图像非均匀性校正［J］. 液晶与显示， 2012 ， 27 （ 4 ）： 569 - 572 . doi: 10.3788/yjyxs20122704.0569 http://dx.doi.org/10.3788/yjyxs20122704.0569

QU H F ， WANG X D ， LV B L . Non-uniformity correction of mutiple output area CCD image ［J］. Chinese Journal of Liquid Crystals and Displays ， 2012 ， 27 （ 4 ）： 569 - 572 . （in Chinese） . doi: 10.3788/yjyxs20122704.0569 http://dx.doi.org/10.3788/yjyxs20122704.0569

顿雄，范永杰，金伟其，等 . 制冷焦平面高动态范围热成像非均匀校正系数与积分时间的关系［J］. 兵工学报， 2015 ， 36 （ 5 ）： 839 - 845 . doi: 10.3969/j.issn.1000-1093.2015.05.011 http://dx.doi.org/10.3969/j.issn.1000-1093.2015.05.011

DUN X ， FAN Y J ， JIN W Q ， et al . Relationship between integral time and two-point non-uniform correction for HDR imaging of cooled focal plane array ［J］. Acta Armamentarii ， 2015 ， 36 （ 5 ）： 839 - 845 . （in Chinese） . doi: 10.3969/j.issn.1000-1093.2015.05.011 http://dx.doi.org/10.3969/j.issn.1000-1093.2015.05.011

闫苏琪，杨世洪，王明富，等 . 基于最小二乘拟合的科学级CMOS传感器非均匀性校正［J］. 电子设计工程， 2018 ， 26 （ 7 ）： 151 - 155 . doi: 10.3969/j.issn.1674-6236.2018.07.034 http://dx.doi.org/10.3969/j.issn.1674-6236.2018.07.034

YAN S Q ， YANG S H ， WANG M F ， et al . Non-uniformity correction of scientific CMOS sensor based on the least squares fit ［J］. Electronic Design Engineering ， 2018 ， 26 （ 7 ）： 151 - 155 . （in Chinese） . doi: 10.3969/j.issn.1674-6236.2018.07.034 http://dx.doi.org/10.3969/j.issn.1674-6236.2018.07.034

张涛，李新阳，李剑峰，等 . 基于自适应多点法的sCMOS实时非均匀性校正［J］. 光电工程， 2021 ， 48 （ 5 ）： 210036 . doi: 10.12086/oee.2021.210036 http://dx.doi.org/10.12086/oee.2021.210036

ZHANG T ， LI X Y ， LI J F ， et al . sCMOS real-time nonuniformity correction based on adaptive multipoint method ［J］. Opto-Electron Eng ， 2021 ， 48 （ 5 ）： 210036 . （in Chinese） . doi: 10.12086/oee.2021.210036 http://dx.doi.org/10.12086/oee.2021.210036

钱润达，赵东，周慧鑫，等 . 基于加权引导滤波与时域高通滤波的非均匀性校正算法［J］. 红外与激光工程， 2018 ， 47 （ 12 ）： 1204001 . doi: 10.3788/irla201847.1204001 http://dx.doi.org/10.3788/irla201847.1204001

QIAN R D ， ZHAO D ， ZHOU H X ， et al . Non-uniformity correction algorithm based on weighted guided filter and temporal high-pass filter ［J］. Infrared and Laser Engineering ， 2018 ， 47 （ 12 ）： 1204001 . （in Chinese） . doi: 10.3788/irla201847.1204001 http://dx.doi.org/10.3788/irla201847.1204001

QIAN W X ， CHEN Q ， GU G H . Space low-pass and temporal high-pass nonuniformity correction algorithm ［J］. Optical Review . 2010 ， 17 （ 1 ）： 24 - 29 . doi: 10.1007/s10043-010-0005-8 http://dx.doi.org/10.1007/s10043-010-0005-8

刘亚梅 . 基于局部恒定统计的高精度联合非均匀性校正方法［J］. 光子学报， 2019 ， 48 （ 6 ）： 0604002 . doi: 10.3788/gzxb20194806.0604002 http://dx.doi.org/10.3788/gzxb20194806.0604002

LIU Y M . High-precision combined nonuniformity correction method based on local constant statistics ［J］. Acta Photonica Sinica ， 2019 ， 48 （ 6 ）： 0604002 （in Chinese） . doi: 10.3788/gzxb20194806.0604002 http://dx.doi.org/10.3788/gzxb20194806.0604002

孟思岐，任侃，路东明，等 . 一种基于恒定统计的红外图像非均匀性校正算法［J］. 应用光学， 2017 ， 38 （ 2 ）： 304 - 308 . doi: 10.5768/jao201738.0206002 http://dx.doi.org/10.5768/jao201738.0206002

MENG S Q ， KAN R ， Lu D M ， et al . A non-uniformity correction algorithm of infrared image sequences based on constant-statistics ［J］. Journal of Applied Optics ， 2017 ， 38 （ 2 ）： 304 - 308 . （in Chinese） . doi: 10.5768/jao201738.0206002 http://dx.doi.org/10.5768/jao201738.0206002

SCRIBNER D A ， SARKADY K A ， KRUER M R ， et al . Adaptive retina-like preprocessing for imaging detector arrays ［C］. // Proceedings of International Conference on Neural Networks . San Francisco ： IEEE ， 1993 ： 1955 - 1960 .

LIANG K ， YANG C L ， LI P ， et al . Nonuniformity correction based on focal plane array temperature in uncooled long-wave infrared cameras without a shutter ［J］. Applied optics ， 2017 ， 56 （ 4 ）： 884 - 889 . doi: 10.1364/ao.56.000884 http://dx.doi.org/10.1364/ao.56.000884

刘明忠，孟军，王雨蒙，等 . 一种基于核回归插值的自适应非均匀性校正算法［J］. 红外， 2018 ， 39 （ 7 ）： 29 - 34 . doi: 10.3969/j.issn.1672-8785.2018.07.006 http://dx.doi.org/10.3969/j.issn.1672-8785.2018.07.006

LIU M Z ， MENG J ， WANG Y M ， et al . An adaptive non-uniformity correction algorithm based on kernel regression interpolation ［J］. Infrared ， 2018 ， 39 （ 7 ）： 29 - 34 . （in Chinese） . doi: 10.3969/j.issn.1672-8785.2018.07.006 http://dx.doi.org/10.3969/j.issn.1672-8785.2018.07.006

LAI R ， YANG Y T ， ZHOU D ， et al . Improved neural network based scene-adaptive nonuniformity correction method for infrared focal plane arrays ［J］. Applied Optics . 2008 ， 47 （ 24 ）： 4331 - 4335 . doi: 10.1364/ao.47.004331 http://dx.doi.org/10.1364/ao.47.004331

张龙，董峰，傅雨田 . 基于神经网络的红外图像非均匀性校正［J］. 红外技术， 2018 ， 40 （ 2 ）： 164 - 169 .

ZHANG L ， DONG F ， YUTIAN F U . Non-uniformity correction for infrared image using neural networks ［J］. Infrared Technology ， 2018 ， 40 （ 2 ）： 164 - 169 . （in Chinese）

ZHANG T ， LI X ， LI J ， et al . Elimination of CMOS fixed pattern noise based on PCA wavelet transform ［C］// Proceedings of SPIE 11763， Seventh Symposium on Novel Photoelectronic Detection Technology and Applications . Kunming ： SPIE ， 1176347 . doi: 10.1117/12.2586899 http://dx.doi.org/10.1117/12.2586899

YANG J H ， ZHAO X L ， MA T H ， et al . Remote sensing images destriping using unidirectional hybrid total variation and nonconvex low-rank regularization ［J］. J. Comput. Appl. Math. ， 2020 ， 363 ： 124 - 144 . doi: 10.1016/j.cam.2019.06.004 http://dx.doi.org/10.1016/j.cam.2019.06.004

牟新刚，崔健，周晓 . 基于全卷积网络的红外图像非均匀性校正算法［J］. 红外技术， 2022 ， 44 （ 1 ）： 21 - 27 . doi: 10.11846/j.issn.1001-8891.2022.1.hwjs202201003 http://dx.doi.org/10.11846/j.issn.1001-8891.2022.1.hwjs202201003

MOU X G ， CUI J ， ZHOU X . Infrared image non-uniformity correction algorithm based on full convolutional network ［J］. Infrared Technology ， 2022 ， 44 （ 1 ）： 21 - 27 . （in Chinese） . doi: 10.11846/j.issn.1001-8891.2022.1.hwjs202201003 http://dx.doi.org/10.11846/j.issn.1001-8891.2022.1.hwjs202201003

YIN H ， GONG Y ， QIU G . Side window filtering ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach ： IEEE ， 2019 ： 8758 - 8766 . doi: 10.1109/cvpr.2019.00896 http://dx.doi.org/10.1109/cvpr.2019.00896

RONG S ， ZHOU H ， WEN Z ， et al . An improved non-uniformity correction algorithm and its hardware implementation on FPGA ［J］. Infrared Physics & Technology ， 85 （ 2017 ）， 410 - 420 . doi: 10.1016/j.infrared.2017.07.007 http://dx.doi.org/10.1016/j.infrared.2017.07.007

张菲菲，王文龙，马国锐，等 . 基于非局部均值滤波与神经网络的红外焦平面阵列非均匀性校正算法［J］. 红外技术， 2015 ， 37 （ 4 ）： 265 - 271 . doi: 10.11846/j.issn.1001_8891.201504001 http://dx.doi.org/10.11846/j.issn.1001_8891.201504001

ZHANG F F ， WANG W L ， MA G R ， et al . Neural network nonuniformity correction algorithm for infrared focal plane array based on non-local means filter ［J］. Infrared Technology ， 2015 ， 37 （ 4 ）： 265 - 271 . （in Chinese） . doi: 10.11846/j.issn.1001_8891.201504001 http://dx.doi.org/10.11846/j.issn.1001_8891.201504001

孙晓亮，郭良超，张文龙，等 . 复杂背景下红外弱小运动目标检测数据集［DB/OL］. Science Data Bank ， 2021 . （ 2021-04-25 ）.

SUN X L ， GUO L C ， ZHANG W L ， et al . Detection data set of infrared small and weak moving targets in complex background ［DB/OL］. Science Data Bank ， 2021 . （ 2021-04-25 ）. （in Chinese）

WU Z ， FULLER N ， THERIAULT D ， et al . A thermal infrared video benchmark for visual analysis ［C］. Computer Vision & Pattern Recognition Workshops . Columbus， OH， USA ： IEEE ， 2014 ： 201 - 208 . doi: 10.1109/cvprw.2014.39 http://dx.doi.org/10.1109/cvprw.2014.39

ZHANG T ， LI X Y ， LI J F ， et al . CMOS fixed pattern noise elimination based on sparse unidirectional hybrid total variation ［J］. Sensors ， 2020 ， 20 （ 19 ）： 5567 . doi: 10.3390/s20195567 http://dx.doi.org/10.3390/s20195567

CAO Y Q ， HE Z W ， YANG J X ， et al . Spatially adaptive column fixed-pattern noise correction in infrared imaging system using 1D horizontal differential statistics ［J］. IEEE Photonics Journal ， 2017 ， 9 （ 5 ）： 7803513 . doi: 10.1109/jphot.2017.2752000 http://dx.doi.org/10.1109/jphot.2017.2752000

Views

254

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Fast and robust low-light image enhancement based on iterative propagation network

FRKDNet： feature refine semantic segmentation network based on knowledge distillation

Research progress of virtual view rendering technology for light field display

Eye fatigue assessment method for naked eye 3D display based on multiple eye movements

Related Author

SUN Hai-jiang

XIAO Zhibo

JIANG Zhilong

KONG Yan

FAN Run-ze

LI Dan-yang

XU Yang

JIANG Shi-yi

Related Institution

School of Science， Jiangnan University

Guiyang Aluminum-magnesium Design and Research Institute Co.Ltd.

College of Big Data and Information Engineering， Guizhou University

School of Electronic Science and Engineering， Southeast University

School of Computer Engineering， Nanjing Institute of Technology

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰