基于深度学习的计算全息显示进展

刘珂瑄; 吴佳琛; 何泽浩; 曹良才

doi:10.37188/CJLCD.2023-0081

您当前的位置：

首页 >

文章列表页 >

基于深度学习的计算全息显示进展

智能显示 | 更新时间：2023-06-12

- 基于深度学习的计算全息显示进展
- Progress of learning-based computer-generated holography
- 液晶与显示 2023年38卷第6期页码：819-828
- 作者机构：
  
  1.清华大学精密仪器系精密测试技术及仪器国家重点实验室，北京 100084
- 作者简介：
  
  [ "刘珂瑄（1998—），女，天津人，博士研究生，2020 年于天津大学获得学士学位，主要从事计算全息方面的研究。E-mail：lkx20@mails.tsinghua.edu.cn" ]
  [ "曹良才（1977—），男，湖北公安人，博士，教授，2005年于清华大学获得博士学位，主要从事全息光学成像与显示方面的研究。E-mail：clc@tsinghua.edu.cn" ]
- 基金信息：
  
  国家自然科学基金(62035003;61775117);中国博士后科学基金(BX2021140)
- DOI：10.37188/CJLCD.2023-0081
  中图分类号：
扫描看全文
刘珂瑄, 吴佳琛, 何泽浩, 等. 基于深度学习的计算全息显示进展[J]. 液晶与显示, 2023,38(6):819-828.

LIU Ke-xuan, WU Jia-chen, HE Ze-hao, et al. Progress of learning-based computer-generated holography[J]. Chinese Journal of Liquid Crystals and Displays, 2023,38(6):819-828.
刘珂瑄, 吴佳琛, 何泽浩, 等. 基于深度学习的计算全息显示进展[J]. 液晶与显示, 2023,38(6):819-828. DOI： 10.37188/CJLCD.2023-0081.

LIU Ke-xuan, WU Jia-chen, HE Ze-hao, et al. Progress of learning-based computer-generated holography[J]. Chinese Journal of Liquid Crystals and Displays, 2023,38(6):819-828. DOI： 10.37188/CJLCD.2023-0081.

摘要

计算全息作为一种三维显示手段，能够基于衍射计算实现对目标光场的精确重建，在元宇宙通讯、AR/VR头戴显示、车载抬头显示等方向均有着重要的应用。如何实现高速且高质量的相位全息图生成是计算全息领域发展的关键问题，也是当前该方向的重要研究课题。近年来，深度学习技术的飞跃式发展为上述问题的解决提供了一条新的技术路径。本文介绍了计算全息技术的基本原理及算法分类，综述了近年来所提出的基于深度学习的计算全息解决方案，比较了各类方案的优势与不足，展望了深度学习技术在计算全息领域的发展与挑战。

Abstract

As a three-dimensional （3D） display method， computer-generated holography （CGH） can achieve accurate reconstructions of the target light fields based on diffractive optics. It has broad applications in the metaverse， head-mounted display， head-up display， ,etc,. High-speed calculation and high-quality reconstruction of phase-only holograms （POHs） are key issues that should be emphasized in this field. In recent years， the leapfrog development of deep learning has provided a novel path to address this challenge. In this review， the basic principles and classifications of CGH are briefly introduced. Then， the existing CGH methods based on deep learning are summarized. The advantages and disadvantages of various methods are compared. Finally， the possible research directions and challenges of this field are prospected.

关键词

计算全息深度学习三维显示卷积神经网络液晶空间光调制器

Keywords

computer-generated holographydeep learning3D displayconvolutional neural networkliquid crystal spatial light modulator

references

曹良才，何泽浩，刘珂瑄，等.元宇宙中的动态全息三维显示：发展与挑战［J］.红外与激光工程，2022，51（1）：20210935．

CAO L C， HE Z H， LIU K X， et al. Progress and challenges in dynamic holographic 3D display for the metaverse ［J］. Infrared and Laser Engineering， 2022， 51（1）： 20210935. （in Chinese）

HE Z H， SUI X M， JIN G F， et al. Progress in virtual reality and augmented reality based on holographic display ［J］. Applied Optics， 2019， 58（5）： A74-A81. doi: 10.1364/ao.58.000a74http://dx.doi.org/10.1364/ao.58.000a74

HE L D， LIU K X， HE Z H， et al. Three-dimensional holographic communication system for the metaverse ［J］. Optics Communications， 2023， 526： 128894. doi: 10.1016/j.optcom.2022.128894http://dx.doi.org/10.1016/j.optcom.2022.128894

CHOI S， GOPAKUMAR M， PENG Y F， et al. Time-multiplexed neural holography： a flexible framework for holographic near-eye displays with fast heavily-quantized spatial light modulators ［C］//Proceedings of the ACM SIGGRAPH 2022 Conference Proceedings. Vancouver： ACM， 2022： 32. doi: 10.1145/3528233.3530734http://dx.doi.org/10.1145/3528233.3530734

TEICH M， SCHUSTER T， LEISTER N， et al. Real-time， large-depth holographic 3D head-up display： selected aspects ［J］. Applied Optics， 2022， 61（5）： B156-B163. doi: 10.1364/ao.442924http://dx.doi.org/10.1364/ao.442924

隋晓萌，何泽浩，曹良才，等.基于液晶空间光调制器的复振幅全息显示进展［J］.液晶与显示，2021，36（6）：797-809． doi: 10.37188/CJLCD.2021-0049http://dx.doi.org/10.37188/CJLCD.2021-0049

SUI X M， HE Z H， CAO L C， et al. Recent progress in complex-modulated holographic display based on liquid crystal spatial light modulators ［J］. Chinese Journal of Liquid Crystals and Displays， 2021， 36（6）： 797-809. （in Chinese）. doi: 10.37188/CJLCD.2021-0049http://dx.doi.org/10.37188/CJLCD.2021-0049

LIU K X， HE Z H， CAO L C. Pattern-adaptive error diffusion algorithm for improved phase-only hologram generation ［J］. Chinese Optics Letters， 2021， 19（5）： 050501. doi: 10.3788/col202119.050501http://dx.doi.org/10.3788/col202119.050501

TSANG P W M， POON T C. Novel method for converting digital Fresnel hologram to phase-only hologram based on bidirectional error diffusion ［J］. Optics Express， 2013， 21（20）： 23680-23686. doi: 10.1364/oe.21.023680http://dx.doi.org/10.1364/oe.21.023680

LIU K X， HE Z H， CAO L C. Double amplitude freedom Gerchberg-Saxton algorithm for generation of phase-only hologram with speckle suppression ［J］. Applied Physics Letters， 2022， 120（6）： 061103. doi: 10.1063/5.0080797http://dx.doi.org/10.1063/5.0080797

GERCHBERG R W， SAXTON W O. A practical algorithm for the determination of phase from image and diffraction plane pictures ［J］. Optik， 1972， 35（2）： 237-246.

CHAKRAVARTHULA P， PENG Y F， KOLLIN J， et al. Wirtinger holography for near-eye displays ［J］. ACM Transactions on Graphics， 2019， 38（6）： 213. doi: 10.1145/3355089.3356539http://dx.doi.org/10.1145/3355089.3356539

ZHANG J Z， PÉGARD N， ZHONG J S， et al. 3D computer-generated holography by non-convex optimization ［J］. Optica， 2017， 4（10）： 1306-1313. doi: 10.1364/optica.4.001306http://dx.doi.org/10.1364/optica.4.001306

PENG Y F， CHOI S， PADMANABAN N， et al. Neural holography with camera-in-the-loop training ［J］. ACM Transactions on Graphics， 2020， 39（6）： 185. doi: 10.1145/3414685.3417802http://dx.doi.org/10.1145/3414685.3417802

左超，冯世杰，张翔宇，等.深度学习下的计算成像：现状、挑战与未来［J］.光学学报，2020，40（1）：0111003． doi: 10.3788/aos202040.0111003http://dx.doi.org/10.3788/aos202040.0111003

ZUO C， FENG S J， ZHANG X Y， et al. Deep learning based computational imaging： status， challenges， and future ［J］. Acta Optica Sinica， 2020， 40（1）： 0111003. （in Chinese）. doi: 10.3788/aos202040.0111003http://dx.doi.org/10.3788/aos202040.0111003

SITU G. Deep holography ［J］. Light： Advanced Manufacturing， 2022， 3（2）： 278-300. doi: 10.37188/lam.2022.013http://dx.doi.org/10.37188/lam.2022.013

邸江磊，唐雎，吴计，等.卷积神经网络在光学信息处理中的应用研究进展［J］.激光与光电子学进展，2021，58（16）：1600001． doi: 10.3788/LOP202158.1600001http://dx.doi.org/10.3788/LOP202158.1600001

DI J L， TANG J， WU J， et al. Research progress in the applications of convolutional neural networks in optical information processing ［J］. Laser & Optoelectronics Progress， 2021， 58（16）： 1600001. （in Chinese）. doi: 10.3788/LOP202158.1600001http://dx.doi.org/10.3788/LOP202158.1600001

YAMAUCHI S， CHEN Y W， NAKAO Z. Optimization of computer-generated holograms by an artificial neural network ［C］//Proceedings of 1998 Second International Conference. Knowledge-Based Intelligent Electronic Systems. Proceedings KES'98. Adelaide： IEEE， 1998： 220-223. doi: 10.1109/kes.1998.725975http://dx.doi.org/10.1109/kes.1998.725975

JOHNSON J， ALAHI A， LI F F. Perceptual losses for real-time style transfer and super-resolution ［C］//Proceedings of the 14th European Conference on Computer Vision. Amsterdam： Springer， 2016： 694-711. doi: 10.1007/978-3-319-46475-6_43http://dx.doi.org/10.1007/978-3-319-46475-6_43

HORISAKI R， TAKAGI R， TANIDA J. Deep-learning-generated holography ［J］. Applied Optics， 2018， 57（14）： 3859-3863. doi: 10.1364/ao.57.003859http://dx.doi.org/10.1364/ao.57.003859

RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation ［C］//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich： Springer， 2015： 234-241. doi: 10.1007/978-3-319-24574-4_28http://dx.doi.org/10.1007/978-3-319-24574-4_28

HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition ［C］//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE， 2016： 770-778. doi: 10.1109/cvpr.2016.90http://dx.doi.org/10.1109/cvpr.2016.90

LEE J， JEONG J， CHO J， et al. Deep neural network for multi-depth hologram generation and its training strategy ［J］. Optics Express， 2020， 28（18）： 27137-27154. doi: 10.1364/oe.402317http://dx.doi.org/10.1364/oe.402317

SHI L， LI B C， KIM C， et al. Towards real-time photorealistic 3D holography with deep neural networks ［J］. Nature， 2021， 591（7849）： 234-239. doi: 10.1038/s41586-020-03152-0http://dx.doi.org/10.1038/s41586-020-03152-0

SHI L， LI B C， MATUSIK W. End-to-end learning of 3D phase-only holograms for holographic display ［J］. Light： Science & Applications， 2022， 11（1）： 247. doi: 10.1038/s41377-022-00894-6http://dx.doi.org/10.1038/s41377-022-00894-6

YOO D， NAM S W， JO Y， et al. Learning-based compensation of spatially varying aberrations for holographic display ［J］. Journal of the Optical Society of America A， 2022， 39（2）： A86-A92. doi: 10.1364/josaa.444613http://dx.doi.org/10.1364/josaa.444613

JIAO S M， JIN Z， CHANG C L， et al. Compression of phase-only holograms with JPEG standard and deep learning ［J］. Applied Sciences， 2018， 8（8）： 1258. doi: 10.3390/app8081258http://dx.doi.org/10.3390/app8081258

SHIMOBABA T， BLINDER D， MAKOWSKI M， et al. Dynamic-range compression scheme for digital hologram using a deep neural network ［J］. Optics Letters， 2019， 44（12）： 3038-3041. doi: 10.1364/ol.44.003038http://dx.doi.org/10.1364/ol.44.003038

PARK D Y， PARK J H. Hologram conversion for speckle free reconstruction using light field extraction and deep learning ［J］. Optics Express， 2020， 28（4）： 5393-5409. doi: 10.1364/oe.384888http://dx.doi.org/10.1364/oe.384888

LIU S C， CHU D P. Deep learning for hologram generation ［J］. Optics Express， 2021， 29（17）： 27373-27395. doi: 10.1364/oe.418803http://dx.doi.org/10.1364/oe.418803

WANG X G， WANG W Q， WEI H Y， et al. Holographic and speckle encryption using deep learning ［J］. Optics Letters， 2021， 46（23）： 5794-5797. doi: 10.1364/ol.443398http://dx.doi.org/10.1364/ol.443398

LIAO M H， ZHENG S S， PAN S X， et al. Deep-learning-based ciphertext-only attack on optical double random phase encryption ［J］. Opto-Electronic Advances， 2021， 4（5）： 200016. doi: 10.29026/oea.2021.200016http://dx.doi.org/10.29026/oea.2021.200016

CHANG C L， ZHU D C， LI J M， et al. Three-dimensional computer holography enabled from a single 2D image ［J］. Optics Letters， 2022， 47（9）： 2202-2205. doi: 10.1364/ol.452488http://dx.doi.org/10.1364/ol.452488

CHANG C L， WANG D， ZHU D C， et al. Deep-learning-based computer-generated hologram from a stereo image pair ［J］. Optics Letters， 2022， 47（6）： 1482-1485. doi: 10.1364/ol.453580http://dx.doi.org/10.1364/ol.453580

ZHAO Y， CAO L C， ZHANG H， et al. Accurate calculation of computer-generated holograms using angular-spectrum layer-oriented method ［J］. Optics Express， 2015， 23（20）： 25440-25449. doi: 10.1364/oe.23.025440http://dx.doi.org/10.1364/oe.23.025440

WU J C， LIU K X， SUI X M， et al. High-speed computer-generated holography using an autoencoder-based deep neural network ［J］. Optics Letters， 2021， 46（12）： 2908-2911. doi: 10.1364/ol.425485http://dx.doi.org/10.1364/ol.425485

LIU K X， WU J C， HE Z H， et al. 4K-DMDNet： diffraction model-driven network for 4K computer-generated holography ［J］. Opto-Electronic Advances， 2023， 6： 220135. doi: 10.29026/oea.2023.220135http://dx.doi.org/10.29026/oea.2023.220135

DUMOULIN V， SHLENS J， KUDLUR M. A learned representation for artistic style ［J/OL］. arXiv， 2016： 1610.07629.

SHI W Z， CABALLERO J， HUSZÁR F， et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network ［C］//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE， 2016： 1874-1883. doi: 10.1109/cvpr.2016.207http://dx.doi.org/10.1109/cvpr.2016.207

YU T， ZHANG S J， CHEN W， et al. Phase dual-resolution networks for a computer-generated hologram ［J］. Optics Express， 2022， 30（2）： 2378-2389. doi: 10.1364/oe.448996http://dx.doi.org/10.1364/oe.448996

LIU X L， YAN X P， WANG X. The U-Net-based phase-only CGH using the two-dimensional phase grating ［J］. Optics Express， 2022， 30（23）： 41624-41643. doi: 10.1364/oe.473205http://dx.doi.org/10.1364/oe.473205

CHOI S， GOPAKUMAR M， PENG Y F， et al. Neural 3D holography： learning accurate wave propagation models for 3D holographic virtual and augmented reality displays ［J］. ACM Transactions on Graphics， 2021， 40（6）： 240. doi: 10.1145/3478513.3480542http://dx.doi.org/10.1145/3478513.3480542

Stanford Computation Imaging. NEURAL 3D holography | siggraph Asia 2021 ［EB/OL］. （2021）. https：//www.computationalimaging.org/publications/neuralholography3d/https://www.computationalimaging.org/publications/neuralholography3d/.

SHUI X H， ZHENG H D， XIA X X， et al. Diffraction model-informed neural network for unsupervised layer-based computer-generated holography ［J］. Optics Express， 2022， 30（25）： 44814-44826. doi: 10.1364/oe.474137http://dx.doi.org/10.1364/oe.474137

SUN X H， MU X Y， XU C， et al. Dual-task convolutional neural network based on the combination of the U-Net and a diffraction propagation model for phase hologram design with suppressed speckle noise ［J］. Optics Express， 2022， 30（2）： 2646-2658. doi: 10.1364/oe.440956http://dx.doi.org/10.1364/oe.440956

WANG X， LIU X L， JING T， et al. Phase-only hologram generated by a convolutional neural network trained using low-frequency mixed noise ［J］. Optics Express， 2022， 30（20）： 35189-35201. doi: 10.1364/oe.466083http://dx.doi.org/10.1364/oe.466083

VOLOCH-BLOCH N， LEREAH Y， LILACH Y， et al. Generation of electron Airy beams ［J］. Nature， 2013， 494（7437）： 331-335. doi: 10.1038/nature11840http://dx.doi.org/10.1038/nature11840

杨海宁，李昆，初大平.硅基液晶技术与可重构全光通信网络［J］.液晶与显示，2021，36（6）：772-788． doi: 10.37188/CJLCD.2021-0014http://dx.doi.org/10.37188/CJLCD.2021-0014

YANG H N， LI K， CHU D P. Liquid crystal on silicon technology and reconfigurable all-optical networks ［J］. Chinese Journal of Liquid Crystals and Displays， 2021， 36（6）： 772-788. （in Chinese）. doi: 10.37188/CJLCD.2021-0014http://dx.doi.org/10.37188/CJLCD.2021-0014

FANG X Y， REN H R， GU M. Orbital angular momentum holography for high-security encryption ［J］. Nature Photonics， 2020， 14（2）： 102-108. doi: 10.1038/s41566-019-0560-xhttp://dx.doi.org/10.1038/s41566-019-0560-x

BALENA A， BIANCO M， PISANELLO F， et al. Recent advances on high-speed and holographic two-photon direct laser writing ［J］. Advanced Functional Materials， 2023， 22： 2211773. doi: 10.1002/adfm.202211773http://dx.doi.org/10.1002/adfm.202211773

JIANG Q， JIN G F， CAO L C. When metasurface meets hologram： principle and advances ［J］. Advances in Optics and Photonics， 2019， 11（3）： 518-576. doi: 10.1364/aop.11.000518http://dx.doi.org/10.1364/aop.11.000518

KANG J W， PARK B S， KIM J K， et al. Deep-learning-based hologram generation using a generative model ［J］. Applied Optics， 2021， 60（24）： 7391-7399. doi: 10.1364/ao.427262http://dx.doi.org/10.1364/ao.427262

KHAN A， ZHANG Z J， YU Y J， et al. GAN-Holo： generative adversarial networks-based generated holography using deep learning ［J］. Complexity， 2021， 2021： 6662161. doi: 10.1155/2021/6662161http://dx.doi.org/10.1155/2021/6662161

浏览量

109

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于多级联递进卷积结构的图像去雨算法

基于边缘引导的光场图像显著性检测

基于液晶空间光调制器的计算全息波前编码方法

基于预处理卷积神经网络提升3D光场显示视觉分辨率的方法