一种应用相机阵列实现图像遮挡物移除的方法

杨墨轩; 赵源萌; 朱凤霞; 张宏飞; 张存林

doi:10.37188/CJLCD.2021-0255

您当前的位置：

首页 >

文章列表页 >

一种应用相机阵列实现图像遮挡物移除的方法

图像处理 | 更新时间：2022-06-14

- 一种应用相机阵列实现图像遮挡物移除的方法
- Method of the image de-occlusion by using focal plane camera
- 液晶与显示 2022年37卷第4期页码：494-500
- 作者机构：
  
  太赫兹光电子学教育部重点实验室，太赫兹波谱与成像北京市重点实验室，北京成像理论与技术高精尖创新中心，首都师范大学物理系，北京 100048
- 作者简介：
  
  [ "杨墨轩（1999—），男，北京人，本科生，2022年将于首都师范大学获得学士学位，主要从事太赫兹成像、光场成像方面的研究。E-mail：yang.ymx@qq.com" ]
  [ "赵源萌（1981—），男，山东滨州人，博士，讲师，2010年于北京理工大学获得博士学位，主要从事光电成像、太赫兹成像、图像处理方面的研究。E-mail：zhao.yuanmeng@cnu.edu.cn" ]
- 基金信息：
  
  国家自然科学基金(61875140);首都师范大学分类发展-学位点建设与研究生教育立项及研究生高水平学术创新项目(008-2155089);科技创新服务能力建设-基本科研业务(20530290044)
- DOI：10.37188/CJLCD.2021-0255
  中图分类号： TP391;O436
- 收稿日期：2021-10-09，
  
  修回日期：2021-11-21，
  
  纸质出版日期：2022-04-05
- 稿件说明：
移动端阅览
杨墨轩, 赵源萌, 朱凤霞, 等. 一种应用相机阵列实现图像遮挡物移除的方法[J]. 液晶与显示, 2022,37(4):494-500.

Mo-xuan YANG, Yuan-meng ZHAO, Feng-xia ZHU, et al. Method of the image de-occlusion by using focal plane camera[J]. Chinese journal of liquid crystals and displays, 2022, 37(4): 494-500.
杨墨轩, 赵源萌, 朱凤霞, 等. 一种应用相机阵列实现图像遮挡物移除的方法[J]. 液晶与显示, 2022,37(4):494-500. DOI： 10.37188/CJLCD.2021-0255.

Mo-xuan YANG, Yuan-meng ZHAO, Feng-xia ZHU, et al. Method of the image de-occlusion by using focal plane camera[J]. Chinese journal of liquid crystals and displays, 2022, 37(4): 494-500. DOI： 10.37188/CJLCD.2021-0255.

摘要

针对光路中前景遮挡物影响感兴趣信息采集的问题，本文对应用相机阵列的遮挡物移除算法进行实验研究。用阵列型光场相机采集四维光场数据，然后用数字重聚焦技术进行不同深度的重聚焦，突出目标物细节特征。利用图像重构技术合成子图像阵列，选择最小误差阈值分割法标记遮挡物区域并复现原图像的细节特征。实验结果证明了应用阵列型光场相机移除遮挡物的可行性，及其改善图像质量、复现遮挡区域图像、提高图像可读性、降低噪声影响的能力。依据无参考的图像质量评价指标，本文算法在重构图像质量上SNR与PSNR分别提升了17.3%与77.6%。

Abstract

In order to address the problem that the foreground occlusions in the light path affect the acquisition of information of interest， this paper explores the de-occlusion algorithm based on the application of the camera array through experiments. The array light field camera is used to collect 4D light field data， after which the digital refocusing technology is employed to perform refocusing at different depths so as to highlight the detailed features of target objects. The experimental results support the feasibility of applying the array light field camera to remove occlusions， as well as its ability to enhance the quality of images， reproduce the image of occluded areas， improve the readability of images， and mitigate the effects of noise. According to the no-reference image quality assessment， in terms of the quality of reconstructed images， the algorithm in this paper can improve the signal to noise ratio （SNR） and peak signal to noise ratio （PSNR） by 17.3% and 77.6%， respectively.

关键词

Keywords

references

LEVOY M ， HANRAHAN P . Light field rendering ［C］// Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques . New Orleans ： ACM ， 1996 ： 31 - 42 . doi: 10.1145/237170.237199 http://dx.doi.org/10.1145/237170.237199

WILBURN B ， JOSHI N ， VAISH V ， et al . High performance imaging using large camera arrays ［J］. ACM Transactions on Graphics ， 2005 ， 24 （ 3 ）： 765 - 776 . doi: 10.1145/1073204.1073259 http://dx.doi.org/10.1145/1073204.1073259

刘严羊硕，刘宾，潘晋孝 . 基于前景移除的合成孔径成像算法［J］. 光学学报， 2018 ， 38 （ 6 ）： 0611002 . doi: 10.3788/aos201838.0611002 http://dx.doi.org/10.3788/aos201838.0611002

LIU Y Y S ， LIU B ， PAN J X . Synthetic aperture imaging algorithm via foreground removing ［J］. Acta Optica Sinica ， 2018 ， 38 （ 6 ）： 0611002 . （in Chinese） . doi: 10.3788/aos201838.0611002 http://dx.doi.org/10.3788/aos201838.0611002

张世辉，刘建新，孔令富 . 基于深度图像利用随机森林实现遮挡检测［J］. 光学学报， 2014 ， 34 （ 9 ）： 0915003 . doi: 10.3788/aos201434.0915003 http://dx.doi.org/10.3788/aos201434.0915003

ZHANG S H ， LIU J X ， KONG L F . Using random forest for occlusion detection based on depth image ［J］. Acta Optica Sinica ， 2014 ， 34 （ 9 ）： 0915003 . （in Chinese） . doi: 10.3788/aos201434.0915003 http://dx.doi.org/10.3788/aos201434.0915003

陈先锋，郭正华，伍俊龙，等 . 基于区域先验信息的去遮挡立体匹配算法［J］. 激光与光电子学进展， 2019 ， 56 （ 19 ）： 191001 . doi: 10.3788/lop56.191001 http://dx.doi.org/10.3788/lop56.191001

CHEN X F ， GUO Z H ， WU J L ， et al . De-occlusion stereo matching algorithm based on regional prior information ［J］. Laser & Optoelectronics Progress ， 2019 ， 56 （ 19 ）： 191001 . （in Chinese） . doi: 10.3788/lop56.191001 http://dx.doi.org/10.3788/lop56.191001

刘润兴，任明俊，肖高博 . 一种聚焦式光场成像去混叠方法［J］. 光学学报， 2018 ， 38 （ 6 ）： 0611001 . doi: 10.3788/aos201838.0611001 http://dx.doi.org/10.3788/aos201838.0611001

LIU R X ， REN M J ， XIAO G B . A method of eliminating artifacts in focused light field imaging ［J］. Acta Optica Sinica ， 2018 ， 38 （ 6 ）： 0611001 . （in Chinese） . doi: 10.3788/aos201838.0611001 http://dx.doi.org/10.3788/aos201838.0611001

BOBICK A F ， INTILLE S S . Large occlusion stereo ［J］. International Journal of Computer Vision ， 1999 ， 33 （ 3 ）： 181 - 200 . doi: 10.1023/a:1008150329890 http://dx.doi.org/10.1023/a:1008150329890

EGNAL G ， WILDES R P . Detecting binocular half-occlusions： empirical comparisons of four approaches ［C］// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition . Hilton Head ： IEEE ， 2000 ： 466 - 473 . doi: 10.1109/cvpr.2000.854883 http://dx.doi.org/10.1109/cvpr.2000.854883

张春萍，王庆 . 光场相机成像模型及参数标定方法综述［J］. 中国激光， 2016 ， 43 （ 6 ）： 0609004 . doi: 10.3788/cjl201643.0609004 http://dx.doi.org/10.3788/cjl201643.0609004

ZHANG C P ， WANG Q . Survey on imaging model and calibration of light field camera ［J］. Chinese Journal of Lasers ， 2016 ， 43 （ 6 ）： 0609004 . （in Chinese） . doi: 10.3788/cjl201643.0609004 http://dx.doi.org/10.3788/cjl201643.0609004

聂云峰，相里斌，周志良 . 光场成像技术进展［J］. 中国科学院研究生院学报， 2011 ， 28 （ 5 ）： 563 - 572 . doi: 10.7523/j.issn.2095-6134.2011.5.001 http://dx.doi.org/10.7523/j.issn.2095-6134.2011.5.001

NIE Y F ， XIANG L B ， ZHOU Z L . Advances in light field photography technique ［J］. Journal of the Graduate School of the Chinese Academy of Sciences ， 2011 ， 28 （ 5 ）： 563 - 572 . （in Chinese） . doi: 10.7523/j.issn.2095-6134.2011.5.001 http://dx.doi.org/10.7523/j.issn.2095-6134.2011.5.001

LIU L X ， LIU B ， HUANG H ， et al . No-reference image quality assessment based on spatial and spectral entropies ［J］. Signal Processing： Image Communication ， 2014 ， 29 （ 8 ）： 856 - 863 . doi: 10.1016/j.image.2014.06.006 http://dx.doi.org/10.1016/j.image.2014.06.006

KITTLER J ， ILLINGWORTH J . Minimum error thresholding ［J］. Pattern Recognition ， 1986 ， 19 （ 1 ）： 41 - 47 . doi: 10.1016/0031-3203(86)90030-0 http://dx.doi.org/10.1016/0031-3203(86)90030-0

KAPUR J N ， SAHOO P K ， WONG A K . A new method for grey-level picture thresholding using the entropy of the histogram ［J］. Computer Vision， Graphics and Image Processing ， 1985 ， 29 （ 3 ）： 273 - 285 . doi: 10.1016/0734-189x(85)90125-2 http://dx.doi.org/10.1016/0734-189x(85)90125-2

OTSU N . A threshold selection method from gray-level histograms ［J］. IEEE Transactions on Systems， Man， and Cybernetics ， 1979 ， 9 （ 1 ）： 62 - 66 . doi: 10.1109/tsmc.1979.4310076 http://dx.doi.org/10.1109/tsmc.1979.4310076

龙建武，申铉京，陈海鹏 . 自适应最小误差阈值分割算法［J］. 自动化学报， 2012 ， 38 （ 7 ）： 1134 - 1144 . doi: 10.3724/SP.J.1004.2012.01134 http://dx.doi.org/10.3724/SP.J.1004.2012.01134

LONG J L ， SHEN X J ， CHEN H P . Adaptive minimum error thresholding algorithm ［J］. Acta Automatica Sinica ， 2012 ， 38 （ 7 ）： 1134 - 1144 . （in Chinese） . doi: 10.3724/SP.J.1004.2012.01134 http://dx.doi.org/10.3724/SP.J.1004.2012.01134

WANG Y ， LI N ， LI Z Y ， et al . An imaging-inspired no-reference underwater color image quality assessment metric ［J］. Computers & Electrical Engineering ， 2018 ， 70 ： 904 - 913 . doi: 10.1016/j.compeleceng.2017.12.006 http://dx.doi.org/10.1016/j.compeleceng.2017.12.006

MOORTHY A K ， BOVIK A C . A two-step framework for constructing blind image quality indices ［J］. IEEE Signal Processing Letters ， 2010 ， 17 （ 5 ）： 513 - 516 . doi: 10.1109/lsp.2010.2043888 http://dx.doi.org/10.1109/lsp.2010.2043888

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于自相关性和模版匹配的TFT缺陷电路重构算法

基于压缩感知的高光谱遥感影像重构方法研究