基于预处理卷积神经网络提升3D光场显示视觉分辨率的方法

于迅博; 李涵宇; 高鑫; 桑新柱; 颜玢玢; 粟曦雯; 温旭东; 徐斌; 王越笛

doi:10.37188/CJLCD.2022-0044

您当前的位置：

首页 >

文章列表页 >

基于预处理卷积神经网络提升3D光场显示视觉分辨率的方法

光场3D显示 | 更新时间：2022-06-22

- 基于预处理卷积神经网络提升3D光场显示视觉分辨率的方法
- 3D light field display with improved visual resolution based on pre-processing convolutional neural network
- 液晶与显示 2022年37卷第5期页码：549-554
- 作者机构：
  
  北京邮电大学电子工程学院，北京 100876
- 作者简介：
  
  [ "于迅博（1988—），男，辽宁铁岭人，博士，副教授，2016年于北京邮电大学获得博士学位，主要从事三维显示与新型显示技术方面的研究。E-mail： yuxunbo@126.com" ]
  [ "高鑫（1988—），男，甘肃兰州人，博士，讲师，2018年于北京邮电大学获得博士学位，主要从事三维显示与新型显示技术方面的研究。E-mail： gxbupt@126.com" ]
- 基金信息：
  
  国家自然科学基金(62175015;61905019;62075016);中央高校基本科研业务费(2021RC13)
- DOI：10.37188/CJLCD.2022-0044
  中图分类号： TN27;O435.2
- 收稿日期：2022-01-30，
  
  修回日期：2022-03-04，
  
  纸质出版日期：2022-05-05
- 稿件说明：
移动端阅览
于迅博, 李涵宇, 高鑫, 等. 基于预处理卷积神经网络提升3D光场显示视觉分辨率的方法[J]. 液晶与显示, 2022,37(5):549-554.

Xun-bo YU, Han-yu LI, Xin GAO, et al. 3D light field display with improved visual resolution based on pre-processing convolutional neural network[J]. Chinese journal of liquid crystals and displays, 2022, 37(5): 549-554.
于迅博, 李涵宇, 高鑫, 等. 基于预处理卷积神经网络提升3D光场显示视觉分辨率的方法[J]. 液晶与显示, 2022,37(5):549-554. DOI： 10.37188/CJLCD.2022-0044.

Xun-bo YU, Han-yu LI, Xin GAO, et al. 3D light field display with improved visual resolution based on pre-processing convolutional neural network[J]. Chinese journal of liquid crystals and displays, 2022, 37(5): 549-554. DOI： 10.37188/CJLCD.2022-0044.

摘要

3D光场显示技术因具有较大的观看视角、密集的观看视点而被研究学者们关注。分辨率是3D光场显示技术的一个重要参数，提升分辨率的方法较为复杂，因此研究学者们开始关注视觉分辨率。为了提高3D光场显示的视觉分辨率，提出了一种基于深度学习获取预处理基元图像阵列（PEIA）的方法。在光场显示的成像过程中，透镜的像差会使成像平面上形成弥散斑。弥散斑之间的交叠区域可以被视为新的视觉像素，并被用作额外的信息载体。一个分辨率增强的卷积神经网络（CNN）被用来从高分辨率基元图像阵列（HEIA）中获取PEIA，将PEIA加载到LCD上，经过透镜阵列的光学变换和定向扩散膜的扩散作用，呈现出具有视觉分辨率增强的3D光场显示图像。在实验中，通过使用PEIA、透镜阵列以及定向扩散膜，展示了一个具有70°视角的光场显示，并提高了视觉分辨率。

Abstract

3D light field display technology has been paid attention to by research scholars because of its large viewing angle and dense viewing viewpoint. Resolution is an important parameter of 3D light field display technology， and the method to improve the resolution is complicated， so the research scholars began to focus on the visual resolution. To improve the visual resolution of the light field displays， an approach based on convolutional neural network to acquire pre-processing elemental image （PEI） is proposed. In the imaging procedure of light field display， lens aberrations diffuse the pixels on the imaging plane. The aliasing areas of the diffuse pixels can be regarded as new visual pixels and used as extra information carriers. A visual resolution-enhanced convolutional neural network （CNN） is employed to obtain the pre-processing elemental image array （PEIA） from a high-resolution elemental image array （HEIA）. The PEIA is loaded onto the LCD， which is optically transformed by the lens array and diffused by the diffuser to render a 3D light field display image with visual resolution enhancement. In the experiment， by using the LEIA， lens array and diffuser， a light field display with a 70° viewing angle and improved visual resolution is demonstrated.

关键词

Keywords

references

YANG L ， SANG X Z ， YU X B ， et al . Demonstration of a large-size horizontal light-field display based on the LED panel and the micro-pinhole unit array ［J］. Optics Communications ， 2018 ， 414 ： 140 - 145 . doi: 10.1016/j.optcom.2017.12.069 http://dx.doi.org/10.1016/j.optcom.2017.12.069

YANG S W ， SANG X Z ， YU X B ， et al . 162-inch 3D light field display based on aspheric lens array and holographic functional screen ［J］. Optics Express ， 2018 ， 26 （ 25 ）： 33013 - 33021 . doi: 10.1364/oe.26.033013 http://dx.doi.org/10.1364/oe.26.033013

YANG L ， SANG X Z ， YU X B ， et al . Viewing-angle and viewing-resolution enhanced integral imaging based on time-multiplexed lens stitching ［J］. Optics Express ， 2019 ， 27 （ 11 ）： 15679 - 15692 . doi: 10.1364/oe.27.015679 http://dx.doi.org/10.1364/oe.27.015679

LIU B Y ， SANG X Z ， YU X B ， et al . Time-multiplexed light field display with 120-degree wide viewing angle ［J］. Optics Express ， 2019 ， 27 （ 24 ）： 35728 - 35739 . doi: 10.1364/oe.27.035728 http://dx.doi.org/10.1364/oe.27.035728

WATANABE H ， KAWAKITA M ， OKAICHI N ， et al . High-resolution spatial image display with multiple UHD projectors ［C］// Proceedings of the SPIE 10666， Three-Dimensional Imaging， Visualization， and Display 2018 . Orlando ： SPIE ， 2018 ： 106660Y . doi: 10.1117/12.2302937 http://dx.doi.org/10.1117/12.2302937

OKAICHI N ， MIURA M ， ARAI J ， et al . Integral 3D display using multiple LCD panels and multi-image combining optical system ［J］. Optics Express ， 2017 ， 25 （ 3 ）： 2805 - 2817 . doi: 10.1364/oe.25.002805 http://dx.doi.org/10.1364/oe.25.002805

KIMY ， PARK J H ， CHOI H ， et al . Depth-enhanced three-dimensional integral imaging by use of multilayered display devices ［J］. Applied Optics ， 2006 ， 45 （ 18 ）： 4334 - 4343 . doi: 10.1364/ao.45.004334 http://dx.doi.org/10.1364/ao.45.004334

BLANCHE P A . Holography， and the future of 3D display ［J］. Light： Advanced Manufacturing ， 2021 ， 2 （ 4 ）： 28 . doi: 10.37188/lam.2021.028 http://dx.doi.org/10.37188/lam.2021.028

PARK S C ， PARK M K ， KANG M G . Super-resolution image reconstruction： a technical overview ［J］. IEEE Signal Processing Magazine ， 2003 ， 20 （ 3 ）： 21 - 36 . doi: 10.1109/msp.2003.1203207 http://dx.doi.org/10.1109/msp.2003.1203207

JAYNES C ， RAMAKRISHNAN D . Super-resolution composition in multi-projector displays ［C］// Proceedings of IEEE Int'l Workshop on Projector-Camera Systems . 2003 ： 8 .

HEIDE F ， LANMAN D ， REDDY D ， et al . Cascaded displays： spatiotemporal superresolution using offset pixel layers ［J］. ACM Transactions on Graphics ， 2014 ， 33 （ 4 ）： 60 . doi: 10.1145/2601097.2601120 http://dx.doi.org/10.1145/2601097.2601120

DIDYK P ， EISEMANN E ， RITSCHEL T ， et al . Apparent display resolution enhancement for moving images ［M］//HOPPE H. ACM Siggraph 2010 Papers . New York ： ACM ， 2010 ： 113 . doi: 10.1145/1833349.1778850 http://dx.doi.org/10.1145/1833349.1778850

HEIDE F ， GREGSON J ， WETZSTEIN G ， et al . Compressive multi-mode superresolution display ［J］. Optics Express ， 2014 ， 22 （ 12 ）： 14981 - 14992 . doi: 10.1364/oe.22.014981 http://dx.doi.org/10.1364/oe.22.014981

KASHTER Y ， VIJAYAKUMAR A ， ROSEN J . Resolving images by blurring： superresolution method with a scattering mask between the observed objects and the hologram recorder ［J］. Optica ， 2017 ， 4 （ 8 ）： 932 - 939 . doi: 10.1364/optica.4.000932 http://dx.doi.org/10.1364/optica.4.000932

ZHAN T ， XIONG J H ， TAN G J ， et al . Improving near-eye display resolution by polarization multiplexing ［J］. Optics Express ， 2019 ， 27 （ 11 ）： 15327 - 15334 . doi: 10.1364/oe.27.015327 http://dx.doi.org/10.1364/oe.27.015327

GAO X ， SANG X Z ， ZHANG W L ， et al . Viewing resolution and viewing angle enhanced tabletop 3D light field display based on voxel superimposition and collimated backlight ［J］. Optics Communications ， 2020 ， 474 ： 126157 . doi: 10.1016/j.optcom.2020.126157 http://dx.doi.org/10.1016/j.optcom.2020.126157

SANG X Z ， GAO X ， YU X B ， et al . Interactive floating full-parallax digital three-dimensional light-field display based on wavefront recomposing ［J］. Optics Express ， 2018 ， 26 （ 7 ）： 8883 - 8889 . doi: 10.1364/oe.26.008883 http://dx.doi.org/10.1364/oe.26.008883

宋菲君，陈笑，刘畅．近代光学系统设计概论［M］．北京：科学出版社， 2019 ： 63 - 64 ．

SONG F J ， CHEN X ， LIU C . Introduction to the Design of Modern Optical Systems ［M］. Beijing ： Science Press ， 2019 ： 63 - 64 . （in Chinese）

浏览量

540

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于多级联递进卷积结构的图像去雨算法

基于深度学习的计算全息显示进展

基于边缘引导的光场图像显著性检测

多粒度特征融合的行人再识别研究