Progress of learning-based computer-generated holography

LIU Ke-xuan; WU Jia-chen; HE Ze-hao; CAO Liang-cai

doi:10.37188/CJLCD.2023-0081

您当前的位置：

首页 >

文章列表页 >

Progress of learning-based computer-generated holography

Intelligent Displays | 更新时间：2023-06-12

- Progress of learning-based computer-generated holography
- Chinese Journal of Liquid Crystals and Displays Vol. 38, Issue 6, Pages: 819-828(2023)
- 作者机构：
  
  清华大学精密仪器系精密测试技术及仪器国家重点实验室，北京 100084
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(62035003;61775117);China Postdoctoral Science Foundation(BX2021140)
- DOI：10.37188/CJLCD.2023-0081
  CLC： TP391;TN27
- Received：01 March 2023，
  
  Revised：15 March 2023，
  
  Published：05 June 2023
- 稿件说明：
移动端阅览
LIU Ke-xuan, WU Jia-chen, HE Ze-hao, et al. Progress of learning-based computer-generated holography[J]. Chinese journal of liquid crystals and displays, 2023, 38(6): 819-828.
DOI：

LIU Ke-xuan, WU Jia-chen, HE Ze-hao, et al. Progress of learning-based computer-generated holography[J]. Chinese journal of liquid crystals and displays, 2023, 38(6): 819-828. DOI： 10.37188/CJLCD.2023-0081.

摘要

计算全息作为一种三维显示手段，能够基于衍射计算实现对目标光场的精确重建，在元宇宙通讯、AR/VR头戴显示、车载抬头显示等方向均有着重要的应用。如何实现高速且高质量的相位全息图生成是计算全息领域发展的关键问题，也是当前该方向的重要研究课题。近年来，深度学习技术的飞跃式发展为上述问题的解决提供了一条新的技术路径。本文介绍了计算全息技术的基本原理及算法分类，综述了近年来所提出的基于深度学习的计算全息解决方案，比较了各类方案的优势与不足，展望了深度学习技术在计算全息领域的发展与挑战。

Abstract

As a three-dimensional （3D） display method， computer-generated holography （CGH） can achieve accurate reconstructions of the target light fields based on diffractive optics. It has broad applications in the metaverse， head-mounted display， head-up display，

etc

. High-speed calculation and high-quality reconstruction of phase-only holograms （POHs） are key issues that should be emphasized in this field. In recent years， the leapfrog development of deep learning has provided a novel path to address this challenge. In this review， the basic principles and classifications of CGH are briefly introduced. Then， the existing CGH methods based on deep learning are summarized. The advantages and disadvantages of various methods are compared. Finally， the possible research directions and challenges of this field are prospected.

关键词

Keywords

references

曹良才，何泽浩，刘珂瑄，等 . 元宇宙中的动态全息三维显示：发展与挑战［J］. 红外与激光工程， 2022 ， 51 （ 1 ）： 20210935 ．

CAO L C ， HE Z H ， LIU K X ， et al . Progress and challenges in dynamic holographic 3D display for the metaverse ［J］. Infrared and Laser Engineering ， 2022 ， 51 （ 1 ）： 20210935 . （in Chinese）

HE Z H ， SUI X M ， JIN G F ， et al . Progress in virtual reality and augmented reality based on holographic display ［J］. Applied Optics ， 2019 ， 58 （ 5 ）： A74 - A81 . doi: 10.1364/ao.58.000a74 http://dx.doi.org/10.1364/ao.58.000a74

HE L D ， LIU K X ， HE Z H ， et al . Three-dimensional holographic communication system for the metaverse ［J］. Optics Communications ， 2023 ， 526 ： 128894 . doi: 10.1016/j.optcom.2022.128894 http://dx.doi.org/10.1016/j.optcom.2022.128894

CHOI S ， GOPAKUMAR M ， PENG Y F ， et al . Time-multiplexed neural holography： a flexible framework for holographic near-eye displays with fast heavily-quantized spatial light modulators ［C］// Proceedings of the ACM SIGGRAPH 2022 Conference Proceedings . Vancouver ： ACM ， 2022 ： 32 . doi: 10.1145/3528233.3530734 http://dx.doi.org/10.1145/3528233.3530734

TEICH M ， SCHUSTER T ， LEISTER N ， et al . Real-time， large-depth holographic 3D head-up display： selected aspects ［J］. Applied Optics ， 2022 ， 61 （ 5 ）： B156 - B163 . doi: 10.1364/ao.442924 http://dx.doi.org/10.1364/ao.442924

隋晓萌，何泽浩，曹良才，等 . 基于液晶空间光调制器的复振幅全息显示进展［J］. 液晶与显示， 2021 ， 36 （ 6 ）： 797 - 809 ． doi: 10.37188/CJLCD.2021-0049 http://dx.doi.org/10.37188/CJLCD.2021-0049

SUI X M ， HE Z H ， CAO L C ， et al . Recent progress in complex-modulated holographic display based on liquid crystal spatial light modulators ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 6 ）： 797 - 809 . （in Chinese） . doi: 10.37188/CJLCD.2021-0049 http://dx.doi.org/10.37188/CJLCD.2021-0049

LIU K X ， HE Z H ， CAO L C . Pattern-adaptive error diffusion algorithm for improved phase-only hologram generation ［J］. Chinese Optics Letters ， 2021 ， 19 （ 5 ）： 050501 . doi: 10.3788/col202119.050501 http://dx.doi.org/10.3788/col202119.050501

TSANG P W M ， POON T C . Novel method for converting digital Fresnel hologram to phase-only hologram based on bidirectional error diffusion ［J］. Optics Express ， 2013 ， 21 （ 20 ）： 23680 - 23686 . doi: 10.1364/oe.21.023680 http://dx.doi.org/10.1364/oe.21.023680

LIU K X ， HE Z H ， CAO L C . Double amplitude freedom Gerchberg-Saxton algorithm for generation of phase-only hologram with speckle suppression ［J］. Applied Physics Letters ， 2022 ， 120 （ 6 ）： 061103 . doi: 10.1063/5.0080797 http://dx.doi.org/10.1063/5.0080797

GERCHBERG R W ， SAXTON W O . A practical algorithm for the determination of phase from image and diffraction plane pictures ［J］. Optik ， 1972 ， 35 （ 2 ）： 237 - 246 .

CHAKRAVARTHULA P ， PENG Y F ， KOLLIN J ， et al . Wirtinger holography for near-eye displays ［J］. ACM Transactions on Graphics ， 2019 ， 38 （ 6 ）： 213 . doi: 10.1145/3355089.3356539 http://dx.doi.org/10.1145/3355089.3356539

ZHANG J Z ， PÉGARD N ， ZHONG J S ， et al . 3D computer-generated holography by non-convex optimization ［J］. Optica ， 2017 ， 4 （ 10 ）： 1306 - 1313 . doi: 10.1364/optica.4.001306 http://dx.doi.org/10.1364/optica.4.001306

PENG Y F ， CHOI S ， PADMANABAN N ， et al . Neural holography with camera-in-the-loop training ［J］. ACM Transactions on Graphics ， 2020 ， 39 （ 6 ）： 185 . doi: 10.1145/3414685.3417802 http://dx.doi.org/10.1145/3414685.3417802

左超，冯世杰，张翔宇，等 . 深度学习下的计算成像：现状、挑战与未来［J］. 光学学报， 2020 ， 40 （ 1 ）： 0111003 ． doi: 10.3788/aos202040.0111003 http://dx.doi.org/10.3788/aos202040.0111003

ZUO C ， FENG S J ， ZHANG X Y ， et al . Deep learning based computational imaging： status， challenges， and future ［J］. Acta Optica Sinica ， 2020 ， 40 （ 1 ）： 0111003 . （in Chinese） . doi: 10.3788/aos202040.0111003 http://dx.doi.org/10.3788/aos202040.0111003

SITU G . Deep holography ［J］. Light： Advanced Manufacturing ， 2022 ， 3 （ 2 ）： 278 - 300 . doi: 10.37188/lam.2022.013 http://dx.doi.org/10.37188/lam.2022.013

邸江磊，唐雎，吴计，等 . 卷积神经网络在光学信息处理中的应用研究进展［J］. 激光与光电子学进展， 2021 ， 58 （ 16 ）： 1600001 ． doi: 10.3788/LOP202158.1600001 http://dx.doi.org/10.3788/LOP202158.1600001

DI J L ， TANG J ， WU J ， et al . Research progress in the applications of convolutional neural networks in optical information processing ［J］. Laser & Optoelectronics Progress ， 2021 ， 58 （ 16 ）： 1600001 . （in Chinese） . doi: 10.3788/LOP202158.1600001 http://dx.doi.org/10.3788/LOP202158.1600001

YAMAUCHI S ， CHEN Y W ， NAKAO Z . Optimization of computer-generated holograms by an artificial neural network ［C］// Proceedings of 1998 Second International Conference . Knowledge-Based Intelligent Electronic Systems . Proceedings KES' 98 . Adelaide ： IEEE ， 1998： 220 - 223 . doi: 10.1109/kes.1998.725975 http://dx.doi.org/10.1109/kes.1998.725975

JOHNSON J ， ALAHI A ， LI F F . Perceptual losses for real-time style transfer and super-resolution ［C］// Proceedings of the 14th European Conference on Computer Vision . Amsterdam ： Springer ， 2016 ： 694 - 711 . doi: 10.1007/978-3-319-46475-6_43 http://dx.doi.org/10.1007/978-3-319-46475-6_43

HORISAKI R ， TAKAGI R ， TANIDA J . Deep-learning-generated holography ［J］. Applied Optics ， 2018 ， 57 （ 14 ）： 3859 - 3863 . doi: 10.1364/ao.57.003859 http://dx.doi.org/10.1364/ao.57.003859

RONNEBERGER O ， FISCHER P ， BROX T . U-Net： convolutional networks for biomedical image segmentation ［C］// Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention . Munich ： Springer ， 2015 ： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

LEE J ， JEONG J ， CHO J ， et al . Deep neural network for multi-depth hologram generation and its training strategy ［J］. Optics Express ， 2020 ， 28 （ 18 ）： 27137 - 27154 . doi: 10.1364/oe.402317 http://dx.doi.org/10.1364/oe.402317

SHI L ， LI B C ， KIM C ， et al . Towards real-time photorealistic 3D holography with deep neural networks ［J］. Nature ， 2021 ， 591 （ 7849 ）： 234 - 239 . doi: 10.1038/s41586-020-03152-0 http://dx.doi.org/10.1038/s41586-020-03152-0

SHI L ， LI B C ， MATUSIK W . End-to-end learning of 3D phase-only holograms for holographic display ［J］. Light： Science & Applications ， 2022 ， 11 （ 1 ）： 247 . doi: 10.1038/s41377-022-00894-6 http://dx.doi.org/10.1038/s41377-022-00894-6

YOO D ， NAM S W ， JO Y ， et al . Learning-based compensation of spatially varying aberrations for holographic display ［J］. Journal of the Optical Society of America A ， 2022 ， 39 （ 2 ）： A86 - A92 . doi: 10.1364/josaa.444613 http://dx.doi.org/10.1364/josaa.444613

JIAO S M ， JIN Z ， CHANG C L ， et al . Compression of phase-only holograms with JPEG standard and deep learning ［J］. Applied Sciences ， 2018 ， 8 （ 8 ）： 1258 . doi: 10.3390/app8081258 http://dx.doi.org/10.3390/app8081258

SHIMOBABA T ， BLINDER D ， MAKOWSKI M ， et al . Dynamic-range compression scheme for digital hologram using a deep neural network ［J］. Optics Letters ， 2019 ， 44 （ 12 ）： 3038 - 3041 . doi: 10.1364/ol.44.003038 http://dx.doi.org/10.1364/ol.44.003038

PARK D Y ， PARK J H . Hologram conversion for speckle free reconstruction using light field extraction and deep learning ［J］. Optics Express ， 2020 ， 28 （ 4 ）： 5393 - 5409 . doi: 10.1364/oe.384888 http://dx.doi.org/10.1364/oe.384888

LIU S C ， CHU D P . Deep learning for hologram generation ［J］. Optics Express ， 2021 ， 29 （ 17 ）： 27373 - 27395 . doi: 10.1364/oe.418803 http://dx.doi.org/10.1364/oe.418803

WANG X G ， WANG W Q ， WEI H Y ， et al . Holographic and speckle encryption using deep learning ［J］. Optics Letters ， 2021 ， 46 （ 23 ）： 5794 - 5797 . doi: 10.1364/ol.443398 http://dx.doi.org/10.1364/ol.443398

LIAO M H ， ZHENG S S ， PAN S X ， et al . Deep-learning-based ciphertext-only attack on optical double random phase encryption ［J］. Opto-Electronic Advances ， 2021 ， 4 （ 5 ）： 200016 . doi: 10.29026/oea.2021.200016 http://dx.doi.org/10.29026/oea.2021.200016

CHANG C L ， ZHU D C ， LI J M ， et al . Three-dimensional computer holography enabled from a single 2D image ［J］. Optics Letters ， 2022 ， 47 （ 9 ）： 2202 - 2205 . doi: 10.1364/ol.452488 http://dx.doi.org/10.1364/ol.452488

CHANG C L ， WANG D ， ZHU D C ， et al . Deep-learning-based computer-generated hologram from a stereo image pair ［J］. Optics Letters ， 2022 ， 47 （ 6 ）： 1482 - 1485 . doi: 10.1364/ol.453580 http://dx.doi.org/10.1364/ol.453580

ZHAO Y ， CAO L C ， ZHANG H ， et al . Accurate calculation of computer-generated holograms using angular-spectrum layer-oriented method ［J］. Optics Express ， 2015 ， 23 （ 20 ）： 25440 - 25449 . doi: 10.1364/oe.23.025440 http://dx.doi.org/10.1364/oe.23.025440

WU J C ， LIU K X ， SUI X M ， et al . High-speed computer-generated holography using an autoencoder-based deep neural network ［J］. Optics Letters ， 2021 ， 46 （ 12 ）： 2908 - 2911 . doi: 10.1364/ol.425485 http://dx.doi.org/10.1364/ol.425485

LIU K X ， WU J C ， HE Z H ， et al . 4K-DMDNet： diffraction model-driven network for 4K computer-generated holography ［J］. Opto-Electronic Advances ， 2023 ， 6 ： 220135 . doi: 10.29026/oea.2023.220135 http://dx.doi.org/10.29026/oea.2023.220135

DUMOULIN V ， SHLENS J ， KUDLUR M . A learned representation for artistic style ［J/OL］. arXiv ， 2016 ： 1610 . 07629 .

SHI W Z ， CABALLERO J ， HUSZÁR F ， et al . Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network ［C］// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 1874 - 1883 . doi: 10.1109/cvpr.2016.207 http://dx.doi.org/10.1109/cvpr.2016.207

YU T ， ZHANG S J ， CHEN W ， et al . Phase dual-resolution networks for a computer-generated hologram ［J］. Optics Express ， 2022 ， 30 （ 2 ）： 2378 - 2389 . doi: 10.1364/oe.448996 http://dx.doi.org/10.1364/oe.448996

LIU X L ， YAN X P ， WANG X . The U-Net-based phase-only CGH using the two-dimensional phase grating ［J］. Optics Express ， 2022 ， 30 （ 23 ）： 41624 - 41643 . doi: 10.1364/oe.473205 http://dx.doi.org/10.1364/oe.473205

CHOI S ， GOPAKUMAR M ， PENG Y F ， et al . Neural 3D holography： learning accurate wave propagation models for 3D holographic virtual and augmented reality displays ［J］. ACM Transactions on Graphics ， 2021 ， 40 （ 6 ）： 240 . doi: 10.1145/3478513.3480542 http://dx.doi.org/10.1145/3478513.3480542

Stanford Computation Imaging . NEURAL 3D holography | siggraph Asia 2021 ［EB/OL］. （2021） . https：//www.computationalimaging.org/publications/neuralholography3d/ https://www.computationalimaging.org/publications/neuralholography3d/ .

SHUI X H ， ZHENG H D ， XIA X X ， et al . Diffraction model-informed neural network for unsupervised layer-based computer-generated holography ［J］. Optics Express ， 2022 ， 30 （ 25 ）： 44814 - 44826 . doi: 10.1364/oe.474137 http://dx.doi.org/10.1364/oe.474137

SUN X H ， MU X Y ， XU C ， et al . Dual-task convolutional neural network based on the combination of the U-Net and a diffraction propagation model for phase hologram design with suppressed speckle noise ［J］. Optics Express ， 2022 ， 30 （ 2 ）： 2646 - 2658 . doi: 10.1364/oe.440956 http://dx.doi.org/10.1364/oe.440956

WANG X ， LIU X L ， JING T ， et al . Phase-only hologram generated by a convolutional neural network trained using low-frequency mixed noise ［J］. Optics Express ， 2022 ， 30 （ 20 ）： 35189 - 35201 . doi: 10.1364/oe.466083 http://dx.doi.org/10.1364/oe.466083

VOLOCH-BLOCH N ， LEREAH Y ， LILACH Y ， et al . Generation of electron Airy beams ［J］. Nature ， 2013 ， 494 （ 7437 ）： 331 - 335 . doi: 10.1038/nature11840 http://dx.doi.org/10.1038/nature11840

杨海宁，李昆，初大平 . 硅基液晶技术与可重构全光通信网络［J］. 液晶与显示， 2021 ， 36 （ 6 ）： 772 - 788 ． doi: 10.37188/CJLCD.2021-0014 http://dx.doi.org/10.37188/CJLCD.2021-0014

YANG H N ， LI K ， CHU D P . Liquid crystal on silicon technology and reconfigurable all-optical networks ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 6 ）： 772 - 788 . （in Chinese） . doi: 10.37188/CJLCD.2021-0014 http://dx.doi.org/10.37188/CJLCD.2021-0014

FANG X Y ， REN H R ， GU M . Orbital angular momentum holography for high-security encryption ［J］. Nature Photonics ， 2020 ， 14 （ 2 ）： 102 - 108 . doi: 10.1038/s41566-019-0560-x http://dx.doi.org/10.1038/s41566-019-0560-x

BALENA A ， BIANCO M ， PISANELLO F ， et al . Recent advances on high-speed and holographic two-photon direct laser writing ［J］. Advanced Functional Materials ， 2023 ， 22 ： 2211773 . doi: 10.1002/adfm.202211773 http://dx.doi.org/10.1002/adfm.202211773

JIANG Q ， JIN G F ， CAO L C . When metasurface meets hologram： principle and advances ［J］. Advances in Optics and Photonics ， 2019 ， 11 （ 3 ）： 518 - 576 . doi: 10.1364/aop.11.000518 http://dx.doi.org/10.1364/aop.11.000518

KANG J W ， PARK B S ， KIM J K ， et al . Deep-learning-based hologram generation using a generative model ［J］. Applied Optics ， 2021 ， 60 （ 24 ）： 7391 - 7399 . doi: 10.1364/ao.427262 http://dx.doi.org/10.1364/ao.427262

KHAN A ， ZHANG Z J ， YU Y J ， et al . GAN-Holo： generative adversarial networks-based generated holography using deep learning ［J］. Complexity ， 2021 ， 2021 ： 6662161 . doi: 10.1155/2021/6662161 http://dx.doi.org/10.1155/2021/6662161

Views

592

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Image rain removal algorithm based on multi-cascade progressive convolution structure

Edge-guided light field image saliency detection

Wave-front encoding method of computer-generated holography based on liquid-crystal spatial light modulator

3D light field display with improved visual resolution based on pre-processing convolutional neural network

Related Author

WU Jia-chen

HE Ze-hao

ZHANG Yong

GUO Jie-long

WANG Fan

LAN Hai

YU Hui

WEI Xian

Related Institution

College of Electrical Engineering and Automation， Fuzhou University

Fujian Institute of Research on the Structure of Matter， Chinese Academy of Sciences

School of Information Science and Engineering， Wuhan University of Science and Technology

Engineering Research Center for Metallurgical Automation and Measurement Technology of Ministry of Education， Wuhan University of Science and Technology

State Key Laboratory of Precision Measurement Technology and Instruments， Department of Precision Instruments， Tsinghua University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰