结合SML与差分图像的多聚焦图像融合算法

廖丽娜; 李伟彤; 项颖

doi:10.37188/CJLCD.2022-0236

您当前的位置：

首页 >

文章列表页 >

结合SML与差分图像的多聚焦图像融合算法

图像处理 | 更新时间：2023-04-10

- 结合SML与差分图像的多聚焦图像融合算法
- Multi-focus image fusion algorithm based on SML and difference image
- 液晶与显示 2023年38卷第4期页码：524-533
- 作者机构：
  
  广东工业大学信息工程学院，广东广州 510006
- 作者简介：
  
  [ "廖丽娜（1998—），女，广西百色人，硕士研究生，2020年于广西师范大学获得学士学位，主要从事图像融合方面的研究。E-mail：lina0312s@163.com" ]
  [ "李伟彤（1969—），男，黑龙江绥化人，博士，副教授，2005年于哈尔滨工程大学获得博士学位，主要从事图像处理方面的研究。E-mail：liweitong@gdut.edu.cn" ]
- 基金信息：
  
  广东省科技计划(2017A010101016)
- DOI：10.37188/CJLCD.2022-0236
  中图分类号： TP391.41
- 收稿日期：2022-07-08，
  
  修回日期：2022-08-08，
  
  纸质出版日期：2023-04-05
- 稿件说明：
移动端阅览
廖丽娜, 李伟彤, 项颖. 结合SML与差分图像的多聚焦图像融合算法[J]. 液晶与显示, 2023,38(4):524-533.

LIAO Li-na, LI Wei-tong, XIANG Ying. Multi-focus image fusion algorithm based on SML and difference image[J]. Chinese journal of liquid crystals and displays, 2023, 38(4): 524-533.
廖丽娜, 李伟彤, 项颖. 结合SML与差分图像的多聚焦图像融合算法[J]. 液晶与显示, 2023,38(4):524-533. DOI： 10.37188/CJLCD.2022-0236.

LIAO Li-na, LI Wei-tong, XIANG Ying. Multi-focus image fusion algorithm based on SML and difference image[J]. Chinese journal of liquid crystals and displays, 2023, 38(4): 524-533. DOI： 10.37188/CJLCD.2022-0236.

摘要

针对传统多聚焦图像融合算法中融合边缘出现模糊、伪影等问题，提出了一种结合改进拉普拉斯能量和（SML）与差分图像的多聚焦图像融合算法。首先，为了提取源图像的聚焦特征信息，分别通过SML和滤波差分进行聚焦度量，再采用引导滤波获得更多的细节特征；接着，利用像素最大值规则生成初始融合决策图，再对初始融合决策图进行小区域去除消除因聚焦和散焦区域相似造成的噪点，并对融合决策图进行不一致处理，获得更精确的聚焦区域；最后，由逐像素加权平均规则，得到融合图像。实验结果表明，所提出的算法在主观视觉效果和客观评价指标上均优于对比算法，互信息、特征互信息、图像梯度特征在彩色图像上分别提高了0.17%、0.38%和0.11%，在灰度图像上分别提高了0.7%、0.69%和0.33%，并且平均运行时间少于0.5 s，具有较高的计算效率。此外，该算法能够较好地保留源图像信息的完整性，融合图像边缘清晰、无伪影。

Abstract

Aiming at the problems of edge blurring and artifacts in traditional multi-focus image fusion algorithm， a multi-focus image fusion algorithm based on sum-modified-Laplacian （SML） and difference image is proposed. Firstly， in order to extract the focus feature information of source images， the focus measurement is performed by SML and difference operation between filtered images and source images respectively， and the guided filtering is adopted to obtain more detailed features. Then， the initial fusion decision map is generated by using pixel-wise maximum rule， the small area removal strategy is performed to eliminate the noise caused by the similarity of focus and defocus areas， and inconsistency processing is used to generated final decision map to obtain a more accurate focus region. Finally， the fused image is obtained by the pixel-by-pixel weighted average rule. Experimental results indicate that the proposed algorithm is superior to the comparison algorithm in both subjective visual effect and objective evaluation metrics. The mutual information， feature mutual information and image gradient features are improved by 0.17%， 0.38% and 0.11% respectively on color images. On grayscale images， the improvements are 0.7%， 0.86% and 0.47%， respectively. Furthermore， the average consuming time is less than 0.5 s with high computational efficiency. In addition， the algorithm can better retain the integrity of source image information， and the fusion image has clear edges without artifacts.

关键词

Keywords

references

LI S T ， KANG X D ， FANG L Y ， et al . Pixel-level image fusion： a survey of the state of the art ［J］. Information Fusion ， 2017 ， 33 ： 100 - 112 . doi: 10.1016/j.inffus.2016.05.004 http://dx.doi.org/10.1016/j.inffus.2016.05.004

WANG Z ， LI X ， DUAN H ， et al . Multifocus image fusion using convolutional neural networks in the discrete wavelet transform domain ［J］. Multimedia Tools and Applications ， 2019 ， 78 （ 24 ）： 34483 - 34512 . doi: 10.1007/s11042-019-08070-6 http://dx.doi.org/10.1007/s11042-019-08070-6

赵迪迪，季轶群 . 区域方差和点锐度相结合的多聚焦图像融合［J］. 液晶与显示， 2019 ， 34 （ 3 ）： 278 - 282 ． doi: 10.3788/yjyxs20193403.0278 http://dx.doi.org/10.3788/yjyxs20193403.0278

ZHAO D D ， JI Y Q . Multi-focus image fusion combining regional variance and EAV ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 3 ）： 278 - 282 . （in Chinese） . doi: 10.3788/yjyxs20193403.0278 http://dx.doi.org/10.3788/yjyxs20193403.0278

TIAN J ， CHEN L . Adaptive multi-focus image fusion using a wavelet-based statistical sharpness measure ［J］. Signal Processing ， 2012 ， 92 （ 9 ）： 2137 - 2146 . doi: 10.1016/j.sigpro.2012.01.027 http://dx.doi.org/10.1016/j.sigpro.2012.01.027

陈贞，邢笑雪 . 基于非下采样Shearlet变换与压缩感知的图像融合［J］. 液晶与显示， 2015 ， 30 （ 6 ）： 1024 - 1031 ． doi: 10.3788/yjyxs20153006.1024 http://dx.doi.org/10.3788/yjyxs20153006.1024

CHEN Z ， XING X X . Image fusion algorithm based on non-subsampled Shearlet transform and compressed sensing ［J］. Chinese Journal of Liquid Crystals and Displays ， 2015 ， 30 （ 6 ）： 1024 - 1031 . （in Chinese） . doi: 10.3788/yjyxs20153006.1024 http://dx.doi.org/10.3788/yjyxs20153006.1024

YIN H P ， Li Y X ， CHAI Y ， et al . A novel sparse-representation-based multi-focus image fusion approach ［J］. Neurocomputing ， 2016 ， 216 ： 216 - 229 . doi: 10.1016/j.neucom.2016.07.039 http://dx.doi.org/10.1016/j.neucom.2016.07.039

ZHOU Z Q ， LI S ， WANG B . Multi-scale weighted gradient-based fusion for multi-focus images ［J］. Information Fusion ， 2014 ， 20 ： 60 - 72 . doi: 10.1016/j.inffus.2013.11.005 http://dx.doi.org/10.1016/j.inffus.2013.11.005

BHAT S ， KOUNDAL D . Multi-focus image fusion techniques： a survey ［J］. Artificial Intelligence Review ， 2021 ， 54 （ 8 ）： 5735 - 5787 . doi: 10.1007/s10462-021-09961-7 http://dx.doi.org/10.1007/s10462-021-09961-7

ZHANG Y ， BAI X Z ， WANG T . Boundary finding based multi-focus image fusion through multi-scale morphological focus-measure ［J］. Information Fusion ， 2017 ， 35 ： 81 - 101 . doi: 10.1016/j.inffus.2016.09.006 http://dx.doi.org/10.1016/j.inffus.2016.09.006

LI S T ， KANG X D ， HU J W . Image fusion with guided filtering ［J］. IEEE Transactions on Image Processing ， 2013 ， 22 （ 7 ）： 2864 - 2875 . doi: 10.1109/tip.2013.2244222 http://dx.doi.org/10.1109/tip.2013.2244222

LI S T ， KANG X D ， HU J W ， et al . Image matting for fusion of multi-focus images in dynamic scenes ［J］. Information Fusion ， 2013 ， 14 （ 2 ）： 147 - 162 . doi: 10.1016/j.inffus.2011.07.001 http://dx.doi.org/10.1016/j.inffus.2011.07.001

LIU Y ， WANG L ， CHENG J ， et al . Multi-focus image fusion： a survey of the state of the art ［J］. Information Fusion ， 2020 ， 64 ： 71 - 91 . doi: 10.1016/j.inffus.2020.06.013 http://dx.doi.org/10.1016/j.inffus.2020.06.013

HUANG W ， JING Z L . Evaluation of focus measures in multi-focus image fusion ［J］. Pattern Recognition Letters ， 2007 ， 28 （ 4 ）： 493 - 500 . doi: 10.1016/j.patrec.2006.09.005 http://dx.doi.org/10.1016/j.patrec.2006.09.005

成亚玲，柏智，谭爱平 . 基于引导滤波和差分图像的多聚焦图像融合方法［J］. 计算机应用， 2021 ， 41 （ 1 ）： 220 - 224 ． doi: 10.11772/j.issn.1001-9081.2020081456 http://dx.doi.org/10.11772/j.issn.1001-9081.2020081456

CHENG Y L ， BAI Z ， TAN A P . Multi-focus image fusion method based on guided filtering and difference image ［J］. Journal of Computer Applications ， 2021 ， 41 （ 1 ）： 220 - 224 . （in Chinese） . doi: 10.11772/j.issn.1001-9081.2020081456 http://dx.doi.org/10.11772/j.issn.1001-9081.2020081456

HE K M ， SUN J ， TANG X O . Guided image filtering ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2013 ， 35 （ 6 ）： 1397 - 1409 . doi: 10.1109/tpami.2012.213 http://dx.doi.org/10.1109/tpami.2012.213

QIU X H ， LI M ， ZHANG L Q ， et al . Guided filter-based multi-focus image fusion through focus region detection ［J］. Signal Processing： Image Communication ， 2019 ， 72 ： 35 - 46 . doi: 10.1016/j.image.2018.12.004 http://dx.doi.org/10.1016/j.image.2018.12.004

TAN W ， ZHOU H X ， RONG S H ， et al . Fusion of multi-focus images via a Gaussian curvature filter and synthetic focusing degree criterion ［J］. Applied Optics ， 2018 ， 57 （ 35 ）： 10092 . doi: 10.1364/ao.57.010092 http://dx.doi.org/10.1364/ao.57.010092

WANG H M . Multi-focus image fusion algorithm based on focus detection in spatial and NSCT domain ［J］. PLoS One ， 2018 ， 13 （ 9 ）： e0204225 . doi: 10.1371/journal.pone.0204225 http://dx.doi.org/10.1371/journal.pone.0204225

LIU Y ， LIU S P ， WANG Z F . Multi-focus image fusion with dense SIFT ［J］. Information Fusion ， 2015 ， 23 ： 139 - 155 . doi: 10.1016/j.inffus.2014.05.004 http://dx.doi.org/10.1016/j.inffus.2014.05.004

LIU Y ， CHEN X ， PENG H ， et al . Multi-focus image fusion with a deep convolutional neural network ［J］. Information Fusion ， 2017 ， 36 ： 191 - 207 . doi: 10.1016/j.inffus.2016.12.001 http://dx.doi.org/10.1016/j.inffus.2016.12.001

LI X S ， ZHOU F Q ， TAN H S ， et al . Multi-focus image fusion based on nonsubsampled contourlet transform and residual removal ［J］. Signal Processing ， 2021 ， 184 ： 108062 . doi: 10.1016/j.sigpro.2021.108062 http://dx.doi.org/10.1016/j.sigpro.2021.108062

ZHOU F Q ， LI X S ， LI J ， et al . Multifocus image fusion based on fast guided filter and focus pixels detection ［J］. IEEE Access ， 2019 ， 7 ： 50780 - 50796 . doi: 10.1109/access.2019.2909591 http://dx.doi.org/10.1109/access.2019.2909591

VESHKI F G ， OUZIR N ， VOROBYOV S A . Image fusion using joint sparse representations and coupled dictionary learning ［C］// 2020 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP） . Barcelona， Spain ： IEEE ， 2020 ： 8344 - 8348 . doi: 10.1109/icassp40776.2020.9054097 http://dx.doi.org/10.1109/icassp40776.2020.9054097

MIAO Q G ， WANG B S . A novel adaptive multi-focus image fusion algorithm based on PCNN and sharpness ［C］// Proceedings of SPIE 5778， Sensors， and Command， Control， Communications， and Intelligence （C3I） Technologies for Homeland Security and Homeland Defense IV . Orlando， USA ： SPIE ， 2005 ： 704 - 712 . doi: 10.1117/12.603092 http://dx.doi.org/10.1117/12.603092

TENENBAUM J M . Accommodation in Computer Vision ［M］. Ann Arbor ： UMI ， 1971 .

LI S T ， KWOK J T ， WANG Y N . Multifocus image fusion using artificial neural networks ［J］. Pattern Recognition Letters ， 2002 ， 23 （ 8 ）： 985 - 997 . doi: 10.1016/s0167-8655(02)00029-6 http://dx.doi.org/10.1016/s0167-8655(02)00029-6

屈小波，闫敬文 . 基于拉普拉斯能量和的循环平移尖锐频率化Contourlet域多聚焦图像融合方法［J］. 光学精密工程， 2009 ， 17 （ 5 ）： 1203 - 1212 ． doi: http://dx.doi.org/ http://dx.doi.org/http://dx.doi.org/

QU X B ， YAN J W . Sum-modified-Laplacian-based multifocus image fusion method in cycle spinning sharp frequency localized contourlet transform domain ［J］. Optics and Precision Engineering ， 2009 ， 17 （ 5 ）： 1203 - 1212 . （in Chinese） . doi: http://dx.doi.org/ http://dx.doi.org/http://dx.doi.org/

LIU Z ， BLASCH E ， XUE Z Y ， et al . Objective assessment of multiresolution image fusion algorithms for context enhancement in night vision： a comparative study ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2012 ， 34 （ 1 ）： 94 - 109 . doi: 10.1109/tpami.2011.109 http://dx.doi.org/10.1109/tpami.2011.109

浏览量

189

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

暂无数据