一种裸眼3D显示中的多视点校正方案

李宁驰; 于迅博; 高鑫; 颜玢玢; 桑新柱; 温旭东; 徐斌

doi:10.37188/CJLCD.2022-0039

您当前的位置：

首页 >

文章列表页 >

一种裸眼3D显示中的多视点校正方案

多视点3D显示 | 更新时间：2022-06-22

- 一种裸眼3D显示中的多视点校正方案
- Multi-view correction scheme for naked eye 3D display
- 液晶与显示 2022年37卷第5期页码：605-612
- 作者机构：
  
  北京邮电大学电子工程学院，北京 100876
- 作者简介：
  
  [ "李宁驰（1998—），男，山东菏泽人，硕士研究生，2020年于长春理工大学获得学士学位，主要从事三维光场显示方面的研究。E-mail： lnc16605306677@bupt.edu.cn" ]
  [ "于迅博（1988—），男，辽宁铁岭人，博士，副教授，2016年于北京邮电大学获得博士学位，主要从事三维显示与新型显示技术方面的研究。E-mail： yuxunbo@126.com" ]
- 基金信息：
  
  国家自然科学基金(62175015;61905015;62075016);中央高校基本科研业务费(2021RC13)
- DOI：10.37188/CJLCD.2022-0039
  中图分类号： TN27
- 收稿日期：2022-01-30，
  
  修回日期：2022-03-10，
  
  纸质出版日期：2022-05-05
- 稿件说明：
移动端阅览
李宁驰, 于迅博, 高鑫, 等. 一种裸眼3D显示中的多视点校正方案[J]. 液晶与显示, 2022,37(5):605-612.

Ning-chi LI, Xun-bo YU, Xin GAO, et al. Multi-view correction scheme for naked eye 3D display[J]. Chinese journal of liquid crystals and displays, 2022, 37(5): 605-612.
李宁驰, 于迅博, 高鑫, 等. 一种裸眼3D显示中的多视点校正方案[J]. 液晶与显示, 2022,37(5):605-612. DOI： 10.37188/CJLCD.2022-0039.

Ning-chi LI, Xun-bo YU, Xin GAO, et al. Multi-view correction scheme for naked eye 3D display[J]. Chinese journal of liquid crystals and displays, 2022, 37(5): 605-612. DOI： 10.37188/CJLCD.2022-0039.

摘要

在裸眼3D显示中，传统的多视点采集方式为均匀采集。研究表明，因柱透镜光栅存在畸变，所以显示器构建的视点分布并不均匀，进而导致显示器视点和采集视点不匹配，产生了视点图像错位、透视关系错误等问题，影响最终的观看体验。针对上述问题，本文提出了一种多视点图像分布校正方案，该方案由一种视点筛选算法和中间视点生成网络构成：结合空间视点真实分布规律，针对均匀采集的多视点图像进行视点筛选，以指导中间视点预测网络生成对应位置的虚拟视点，使之匹配显示器构建视点位置。实验证明该方案为显示器视点填充了正确的视差图，有效地解决了显示器空间视点和采集视点的位置不匹配问题，提升了光栅立体显示器的观看质量。

Abstract

In naked eye 3D display， the traditional multi-viewpoint acquisition method is a uniform acquisition. The study shows that the viewpoint distribution constructed by the display is not uniform due to the aberrations of the column lens grating， and there are contradictions between the distribution of the collected viewpoints and display， producing problems such as misaligned viewpoint images and incorrect perspective relationships， which affect the final viewing experience. In this paper， a multi-viewpoint image distribution correction scheme is proposed for the above problems. The scheme consists of a viewpoint screening algorithm and an intermediate viewpoints generation network. Combined with the real distribution law of spatial viewpoints， the viewpoint screening is performed for the uniformly collected multi-viewpoint images to guide the intermediate viewpoint prediction network to generate virtual viewpoints at corresponding positions to match the display construction viewpoint positions. Experimental results prove the scheme effectively solves the mismatch between the spatial viewpoint of the display and the position of the acquisition viewpoint， thus improves the viewing quality of the naked eye 3D display.

关键词

Keywords

references

LIU X ， LI H F . The progress of light-field 3-D displays ［J］. Information Display ， 2014 ， 30 （ 6 ）： 6 - 14 . doi: 10.1002/j.2637-496x.2014.tb00760.x http://dx.doi.org/10.1002/j.2637-496x.2014.tb00760.x

BALRAM N ， TOŠIĆ I . Light-field imaging and display systems ［J］. Information Display ， 2016 ， 32 （ 4 ）： 6 - 13 . doi: 10.1002/j.2637-496x.2016.tb00917.x http://dx.doi.org/10.1002/j.2637-496x.2016.tb00917.x

HUANG H K ， HUA H . Systematic characterization and optimization of 3D light field displays ［J］. Optics Express ， 2017 ， 25 （ 16 ）： 18508 - 18525 . doi: 10.1364/oe.25.018508 http://dx.doi.org/10.1364/oe.25.018508

SANG X Z ， GAO X ， YU X B ， et al . Interactive floating full-parallax digital three-dimensional light-field display based on wavefront recomposing ［J］. Optics Express ， 2018 ， 26 （ 7 ）： 8883 - 8889 . doi: 10.1364/oe.26.008883 http://dx.doi.org/10.1364/oe.26.008883

MA Q G ， CAO L C ， HE Z H ， et al . Progress of three-dimensional light-field display ［J］. Chinese Optics Letters ， 2019 ， 17 （ 11 ）： 111001 . doi: 10.3788/col201917.111001 http://dx.doi.org/10.3788/col201917.111001

LIU B Y ， SANG X Z ， YU X B ， et al . Time-multiplexed light field display with 120-degree wide viewing angle ［J］. Optics Express ， 2019 ， 27 （ 24 ）： 35728 - 35739 . doi: 10.1364/oe.27.035728 http://dx.doi.org/10.1364/oe.27.035728

王琼华． 3D显示技术与器件［M］．北京：科学出版社， 2011 ． doi: 10.1002/j.2637-496x.2011.tb00390.x http://dx.doi.org/10.1002/j.2637-496x.2011.tb00390.x

WANG Q H . 3D Display Technology and Device ［M］. Beijing ： Science Press ， 2011 . （in Chinese） . doi: 10.1002/j.2637-496x.2011.tb00390.x http://dx.doi.org/10.1002/j.2637-496x.2011.tb00390.x

ZHAO T Q ， SANG X Z ， YU X B ， et al . High dense views auto-stereoscopic three-dimensional display based on frontal projection with LLA and diffused screen ［J］. Chinese Optics Letters ， 2015 ， 13 （ 1 ）： 011001 . doi: 10.3788/col201513.011001 http://dx.doi.org/10.3788/col201513.011001

JEN T H ， CHANG Y C ， TING C H ， et al . Locally controllable liquid crystal lens array for partially switchable 2D/3D display ［J］. Journal of Display Technology ， 2015 ， 11 （ 10 ）： 839 - 844 . doi: 10.1109/jdt.2015.2394439 http://dx.doi.org/10.1109/jdt.2015.2394439

邢树军，曹良才，桑新柱，等．面向超多视点光场的虚拟立体内容生成技术综述［J］．中国激光， 2021 ， 48 （ 15 ）： 1509001 .

XING S J ， CAO L C ， SANG X Z ， et al . Overview of virtual stereo content generation technology for super multi-view light field ［J］. Chinese Journal of Lasers ， 2021 ， 48 （ 15 ）： 1509001 . （in Chinese）

尧奔．密集视点三维光场视频直播系统实现方法研究［D］．北京：北京邮电大学， 2021 ． doi: 10.30919/es8d549 http://dx.doi.org/10.30919/es8d549

YAO B . Design and implementation of dense view 3D light field video live broadcasting system ［D］. Beijing ： Beijing University of Posts and Telecommunications ， 2021 . （in Chinese） . doi: 10.30919/es8d549 http://dx.doi.org/10.30919/es8d549

HUO W ， CHEUNG G ， XIN L ， et al . Depth map super-resolution using synthesized view matching for depth-image-based rendering ［C］// Proceedings of 2012 IEEE International Conference on Multimedia and Expo Workshops . Melbourne ： IEEE ， 2012 . doi: 10.1109/icmew.2012.111 http://dx.doi.org/10.1109/icmew.2012.111

FAN Y C ， CHEN Y C ， CHOU S Y . Vivid-DIBR based 2D-3D image conversion system for 3D display ［J］. Journal of Display Technology ， 2014 ， 10 （ 10 ）： 887 - 898 . doi: 10.1109/jdt.2014.2331064 http://dx.doi.org/10.1109/jdt.2014.2331064

WANG L H ， HOU C P ， LEI J J ， et al . View generation with DIBR for 3D display system ［J］. Multimedia Tools and Applications ， 2015 ， 74 （ 21 ）： 9529 - 9545 . doi: 10.1007/s11042-014-2133-9 http://dx.doi.org/10.1007/s11042-014-2133-9

MILDENHALL B ， SRINIVASAN P P ， TANCIK M ， et al . NeRF： representing scenes as neural radiance fields for view synthesis ［C］// Proceedings of the 16th European Conference on Computer Vision . Glasgow ： Springer ， 2020 . doi: 10.1007/978-3-030-58452-8_24 http://dx.doi.org/10.1007/978-3-030-58452-8_24

HORN B K P ， SCHUNCK B G . Determining optical flow ［J］. Artificial Intelligence ， 1981 ， 17 （ 1/3 ）： 185 - 203 . doi: 10.1016/0004-3702(81)90024-2 http://dx.doi.org/10.1016/0004-3702(81)90024-2

DOSOVITSKIY A ， FISCHER P ， ILG E ， et al . FlowNet： learning optical flow with convolutional networks ［C］// Proceedings of 2015 IEEE International Conference on Computer Vision . Santiago ： IEEE ， 2015 . doi: 10.1109/iccv.2015.316 http://dx.doi.org/10.1109/iccv.2015.316

SUN D Q ， YANG X D ， LIU M Y ， et al . PWC-Net： CNNs for optical flow using pyramid， warping， and cost volume ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 . doi: 10.1109/cvpr.2018.00931 http://dx.doi.org/10.1109/cvpr.2018.00931

TEED Z ， DENG J . RAFT： recurrent all-pairs field transforms for optical flow ［C］// Proceedings of the 16th European Conference on Computer Vision . Glasgow ： Springer ， 2020 . doi: 10.24963/ijcai.2021/662 http://dx.doi.org/10.24963/ijcai.2021/662

JIANG H Z ， SUN D Q ， JAMPANI V ， et al . Super SloMo： high quality estimation of multiple intermediate frames for video interpolation ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 . doi: 10.1109/cvpr.2018.00938 http://dx.doi.org/10.1109/cvpr.2018.00938

HUANG Z W ， ZHANG T Y ， HENG W ， et al . RIFE： real-time intermediate flow estimation for video frame interpolation ［J］. arXiv ： 2011.06294 ， 2020 . doi: 10.13052/jwe1540-9589.2089 http://dx.doi.org/10.13052/jwe1540-9589.2089

LIU Y H ， XIE L B ， SIYAO L ， et al . Enhanced quadratic video interpolation ［C］// Proceedings of the European Conference on Computer Vision . Glasgow ： Springer ， 2020 . doi: 10.1007/978-3-030-66823-5_3 http://dx.doi.org/10.1007/978-3-030-66823-5_3

LIU Z ， MAO H Z ， WU C Y ， et al . A ConvNet for the 2020s ［J］. arXiv： 2201.03545 ， 2022 .

LIU Z W ， YEH R A ， TANG X O ， et al . Video frame synthesis using deep voxel flow ［C］// Proceedings of 2017 IEEE International Conference on Computer Vision . Venice ： IEEE ， 2017 . doi: 10.1109/iccv.2017.478 http://dx.doi.org/10.1109/iccv.2017.478

BLANCHE P A . Holography， and the future of 3D display ［J］. Light： Advanced Manufacturing ， 2021 ， 2 ： 28 . doi: 10.37188/lam.2021.028 http://dx.doi.org/10.37188/lam.2021.028

PARK J H ， LEE B . Holographic techniques for augmented reality and virtual reality near-eye displays ［J］. Light： Advanced Manufacturing ， 2022 ， 3 ： 9 . doi: 10.37188/lam.2022.009 http://dx.doi.org/10.37188/lam.2022.009

浏览量

411

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

融合序列影像相关区域信息的光流估计网络

基于多种眼动行为的裸眼3D显示视觉疲劳评估方法

基于视频放大和双分支网络的微表情识别