留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

元宇宙中的动态全息三维显示:发展与挑战(特邀)

曹良才 何泽浩 刘珂瑄 隋晓萌

曹良才, 何泽浩, 刘珂瑄, 隋晓萌. 元宇宙中的动态全息三维显示:发展与挑战(特邀)[J]. 红外与激光工程, 2022, 51(1): 20210935. doi: 10.3788/IRLA20210935
引用本文: 曹良才, 何泽浩, 刘珂瑄, 隋晓萌. 元宇宙中的动态全息三维显示:发展与挑战(特邀)[J]. 红外与激光工程, 2022, 51(1): 20210935. doi: 10.3788/IRLA20210935
Cao Liangcai, He Zehao, Liu Kexuan, Sui Xiaomeng. Progress and challenges in dynamic holographic 3D display for the metaverse (Invited)[J]. Infrared and Laser Engineering, 2022, 51(1): 20210935. doi: 10.3788/IRLA20210935
Citation: Cao Liangcai, He Zehao, Liu Kexuan, Sui Xiaomeng. Progress and challenges in dynamic holographic 3D display for the metaverse (Invited)[J]. Infrared and Laser Engineering, 2022, 51(1): 20210935. doi: 10.3788/IRLA20210935

元宇宙中的动态全息三维显示:发展与挑战(特邀)

doi: 10.3788/IRLA20210935
基金项目: 国家自然科学基金(61775117,62035003);博士后创新人才支持计划(BX2021140);清华大学自主科研计划(20193080075)
详细信息
    作者简介:

    曹良才,男,教授,博士生导师,博士,主要从事全息光学成像与显示技术等方面的研究

    通讯作者: 何泽浩,男,博士,主要从事三维显示、计算全息及全息通讯等方面的研究。
  • 中图分类号: O436

Progress and challenges in dynamic holographic 3D display for the metaverse (Invited)

  • 摘要: 相比二维显示,三维显示可以提供更接近真实世界的图像内容,是5G、大数据、元宇宙和物联网领域的关键性技术。计算全息三维显示可以提供所有种类的深度线索,被认为是三维显示的终极实现方式,在智能制造、远程教育、异地办公和娱乐社交等领域都具有广阔的应用前景。文中首先介绍了计算全息技术的发展历史和重要技术节点,分析了高质量全息动态三维显示面临的挑战,主要包括计算全息图重建质量不足、波前调制器件和全息显示系统性能受限以及三维内容源匮乏等,进一步介绍了已有的解决方案,比较了各类方案的优势与不足,进而分析了高质量全息动态三维显示的主要研究方向,包括低噪声全息图的获取、像质优化和畸变校正技术的开发以及三维内容源的构建。实现高质量、低噪声、无畸变、高刷新、真三维的动态全息三维显示,是计算全息显示发展的必由之路,也是元宇宙等典型应用对全息三维显示提出的必然要求。
  • 图  1  三维显示中的各类三维深度线索

    Figure  1.  Various 3D depth cues in 3D display

    图  2  不同三维显示方式能够提供的深度线索

    Figure  2.  Depth cues provided by different 3D display technologies

    图  3  (a) 光学全息记录和重建;(b) 计算全息记录和重建;(c) 数字全息记录与重建

    Figure  3.  Recording and reconstruction of (a) optical holography, (b) computer-generated holography and (c) digital holography

    图  4  (a) 全息三维显示系统示意图;(b) 全息三维重建结果[59]

    Figure  4.  (a) Holographic 3D display system; (b) Holographic 3D reconstructions [59]

    图  5  (a) 基于粗积分的全息视频显示系统;(b) 彩色三维全息重建结果[68]

    Figure  5.  (a) Holographic video display system based on coarse integration; (b) Full-color 3D holographic reconstructions [68]

    图  6  (a) 超薄全息三维显示系统;(b) 彩色三维全息重建结果[69]

    Figure  6.  (a) Slim-panel holographic 3D display system; (b) Full-color 3D holographic reconstruction 69]

    图  7  计算全息技术发展简史

    Figure  7.  The brief history of computer-generated holography

    图  8  基于自编码深度学习网络的计算全息图生成算法[90]

    Figure  8.  Computer-generated holographic algorithm based on auto-encoder deep learning network[90]

    图  9  2D-to-3D技术生成3D模型的全息重建结果[112]

    Figure  9.  Holographic reconstructions of 3D models generated by 2D-to-3D rendering method [112]

    表  1  全息图优化方法的性能对比

    Table  1.   Comparison of optimization methods for holographic

    SpeedQualityTraining timeGeneralization
    Random-phase-based methodsMediumMediumNAMedium
    Iteration-based methodsSlowHighNAHigh
    Learning-based methodsFastHighLongHigh
    下载: 导出CSV

    表  2  全息畸变校正方法的特点对比

    Table  2.   Comparison of distortion calibration methods in holography

    Hardware complexitySoftware complexity
    Wavefront-compensation methods [91-92]HighHigh
    Conventional superposition methods[96-98]LowHigh
    Phase-shifting-based superposition methods [99]LowLow
    下载: 导出CSV

    表  3  三维内容源生成方法的特点对比

    Table  3.   Comparison of generation methods of 3D content

    ResolutionDepth rangeProcessing timeCompatibility
    Hardware-based methodsCamera arrayHighLargeLongMedium
    TOF cameraLowLargeShortLow
    Lens-array cameraMediumMediumMediumLow
    Structured illumination cameraHighMediumLongLow
    Software-based methods3D modeling methodsHighLargeLongLow
    2D-to-3D methodsHighLargeMediumHigh
    下载: 导出CSV
  • [1] Marieb E N, Hoehn K N. Human Anatomy & Physiology [M]. 11th ed. London: Pearson, 2018.
    [2] Geng J. Three-dimensional display technologies [J]. Advances in Optics and Photonics, 2013, 5(4): 456-535. doi:  10.1364/AOP.5.000456
    [3] 5G unlocks a world of opportunities [R/OL]. [2022-01-14].https://www.huawei.com/us/technology-insights/industry-insights/outlook/mobile-broadband/insights-reports/5 g-unlocks-a-world-of-opportunities.
    [4] Grand View Research. 3D display market size & share trends analysis report [DB/OL].[2018-02-07]. https://www.grandviewresearch.com/industry-analysis/3 d-display-market.
    [5] Blundell B, Schwarz A. Volumetric Three Dimensional Display System [M]. New York: Wiley-IEEE Press, 1999.
    [6] Okoshi T. Three-dimensional Imaging Techniques [M]. New York: Academic Press, 1976.
    [7] Xu B, Wu Q, Bao Y, et al. Time-multiplexed stereoscopic display with a quantum dot-polymer scanning backlight [J]. Applied Optics, 2019, 58(16): 4526-4532. doi:  10.1364/AO.58.004526
    [8] North T, Wagner M, Bourquin S, et al. Compact and high-brightness helmet-mounted head-up display system by retinal laser projection [J]. Journal of Display Technology, 2016, 12(9): 982-985. doi:  10.1109/JDT.2016.2522998
    [9] Wang Y, Liu W, Meng X, et al. Development of an immersive virtual reality head-mounted display with high performance [J]. Applied Optics, 2016, 55(25): 6969-6977. doi:  10.1364/AO.55.006969
    [10] Hiura H, Komine K, Arai J, et al. Measurement of static convergence and accommodation responses to images of integral photography and binocular stereoscopy [J]. Optics Express, 2017, 25(4): 3454-3468. doi:  10.1364/OE.25.003454
    [11] Zhuang Z, Zhang L, Surman P, et al. Addressable spatial light modulators for eye-tracking autostereoscopic three-dimensional display using a scanning laser [J]. Applied Optics, 2018, 57(16): 4457-4466. doi:  10.1364/AO.57.004457
    [12] Meng Y, Lyu Y, Chen L L, et al. Motion parallax and lossless resolution autostereoscopic 3 D display based on a binocular viewpoint tracking liquid crystal dynamic grating adaptive screen [J]. Optics Express, 2021, 29(22): 35456-35473. doi:  10.1364/OE.439111
    [13] Lin Y, Liu X, Liu X, et al. Three-dimensional volumetric display system utilizing a rotating two-dimensional LED array [J]. Acta Optica Sinica, 2003, 23(10): 1158-1162. (in Chinese)
    [14] Lu H, Zhang J, Song Z, et al. Submillisecond-response light shutter for solid-state volumetric 3 D display based on polymer-stabilized cholesteric texture [J]. Journal of Display Technology, 2014, 19(5): 396-400.
    [15] Gong D, Wang C, Wang X, et al. Static volumetric three-dimensional display based on an electric-field-controlled two-dimensional optical beam scanner [J]. Applied Optics, 2019, 58(26): 7067-7072. doi:  10.1364/AO.58.007067
    [16] Kumagai K, Yamaguchi I, Hayasaki Y. Three-dimensionally structured voxels for volumetric display [J]. Optics Letters, 2018, 43(14): 3341-3344. doi:  10.1364/OL.43.003341
    [17] Tian F, Wang H, Fang Y, et al. A swept volume display system using a planetary gear structure based on parallel moving [J]. Journal of Display Technology, 2012, 8(8): 457-463. doi:  10.1109/JDT.2012.2196790
    [18] Xie W, Wang Y, Deng H, et al. Viewing angle-enhanced integral imaging system using three lens arrays [J]. Chinese Optics Letters, 2014, 12(1): 011101. doi:  10.3788/COL201412.011101
    [19] Ren H, Xing Y, Zhang H L, et al. 2D/3D mixed display based on integral imaging and a switchable diffuser element [J]. Applied Optics, 2019, 58(34): G276-G281. doi:  10.1364/AO.58.00G276
    [20] Zhang H -L, Deng H, Ren H, et al. Method to eliminate pseudoscopic issue in an integral imaging 3 D display by using a transmissive mirror device and light filter [J]. Optics Letters, 2020, 45(2): 351-354. doi:  10.1364/OL.45.000351
    [21] Yang L, Sang X, Yu X, et al. A crosstalk-suppressed dense multi-view light-field display based on real-time light-field pickup and reconstruction [J]. Optics Express, 2018, 26(26): 34412-34427. doi:  10.1364/OE.26.034412
    [22] Chen D, Sang X, Yu X, et al. Performance improvement of compressive light field display with the viewing-position-dependent weight distribution [J]. Optics Express, 2016, 24(26): 29781-29793. doi:  10.1364/OE.24.029781
    [23] Adelson E H, Bergen J R. The Plenoptic Function and the Elements of Early Vision [M]// Landry M. Movshon J A. Computational models of Visual Processing. Cambridge: MIT Press, 1991: 3-20.
    [24] Wenger A, Gardner A, Tchou C, et al. Performance relighting and reflectance transformation with time-multiplexed illumination [C]//Special Interest Group on Computer Graphics and Interactive Techniques Conference (SIGGRAPH), 2005, 24: 756-764.
    [25] Ma Q, Cao L, He Z, et al. Progress of three-dimensional light-field display [J]. Chinese Optics Letters, 2019, 17(11): 111001. doi:  10.3788/COL201917.111001
    [26] Huang H, Hua H. Systematic characterization and optimization of 3D light field displays [J]. Optics Express, 2017, 25(16): 18508-18525. doi:  10.1364/OE.25.018508
    [27] Xu M, Hua H. Systematic method for modeling and characterizing multilayer light field displays [J]. Optics Express, 2020, 28(2): 1014-1036. doi:  10.1364/OE.381047
    [28] Goodman J P. Introduction to Fourier Optics [M]. 4th ed. New York: W. H. Freeman & Company, 2017.
    [29] Pi D, Liu J, Kang R, et al. Reducing the memory usage of computer-generated hologram calculation using accurate high-compressed look-up-table method in color 3D holographic display [J]. Optics Express, 2019, 27(20): 28410-28422. doi:  10.1364/OE.27.028410
    [30] Wang Z, Lv G Q, Feng Q B, et al. Resolution priority holographic stereogram based on integral imaging with enhanced depth range [J]. Optics Express, 2019, 27(3): 2689-2702. doi:  10.1364/OE.27.002689
    [31] Wang Z, Zhu L M, Zhang X, et al. Computer-generated photorealistic hologram using ray-wavefront conversion based on the additive compressive light field approach [J]. Optics Letters, 2020, 45(3): 615-618. doi:  10.1364/OL.383508
    [32] Chang C, Cui W, Gao L. Holographic multiplane near-eye display based on amplitude-only wavefront modulation [J]. Optics Express, 2019, 27(21): 30960-30970. doi:  10.1364/OE.27.030960
    [33] Sui X, He Z, Jin G, et al. Band-limited double-phase method for enhancing image sharpness in complex modulated computer-generated holograms [J]. Optics Express, 2021, 29(2): 2597-2612. doi:  10.1364/OE.414299
    [34] Sui X, He Z, Zhang H, et al. Spatiotemporal double-phase hologram for complex-amplitude holographic displays [J]. Chinese Optics Letters, 2020, 18(10): 100901. doi:  10.3788/COL202018.100901
    [35] Liu K, He Z, Cao L. Pattern-adaptive error diffusion algorithm for improved phase-only hologram generation [J]. Chinese Optics Letters, 2021, 19(5): 050501. doi:  10.3788/COL202119.050501
    [36] Li C, Cao L, Wang Z, et al. Hybrid polarization-angle multiplexing for volume holography in gold nanoparticle-doped photopolymer [J]. Optics Letters, 2014, 39(24): 6891-6894. doi:  10.1364/OL.39.006891
    [37] Lee J S, Kim Y K, et al. See-through display combined with holographic display and Maxwellian display using switchable holographic optical element based on liquid lens [J]. Optics Express, 2018, 26(15): 19341-19355. doi:  10.1364/OE.26.019341
    [38] Lohmann A W. On Moiré fringes as Fourier test objects [J]. Applied Optics, 1966, 5(4): 669-670. doi:  10.1364/AO.5.000669
    [39] Brown B R, Lohmann A W. Complex spatial filtering with binary masks [J]. Applied Optics, 1966, 5(6): 967-969. doi:  10.1364/AO.5.000967
    [40] Waters J P. Holographic image synthesis utilizing theoretical methods [J]. Applied Physics Letters, 1967, 9(11): 405-407.
    [41] Lesem L B, Hirsch P M, Jordan J A. The kinoform: a new wavefront reconstruction device [J]. IBM Journal of Research and Development, 1969, 13(2): 150-155. doi:  10.1147/rd.132.0150
    [42] Lee W H. Sampled Fourier transform hologram generated by computer [J]. Applied Optics, 1970, 9(3): 639-643. doi:  10.1364/AO.9.000639
    [43] Leseberg D, Frère C. Computer-generated holograms of 3D objects composed of tilted planar segments [J]. Applied Optics, 1988, 27(14): 3020-3024. doi:  10.1364/AO.27.003020
    [44] Yamaguchi M, Endoh H, Honda T, et al. High-quality recording of a full-parallax holographic stereogram with a digital diffuser [J]. Optics Letters, 1994, 19(2): 135-137. doi:  10.1364/OL.19.000135
    [45] Yoshikawa H, Kameyama H. Integral holography [C]//Proceeding of SPIE, 1995, 2406: 226-234.
    [46] Benton S A. Synthetic holography [C]//Conference on Lasers and Electro-Optics, 1989, 11: JA1.
    [47] Hilaire P S, Benton S A, Lucente M. Synthetic aperture holography: a novel approach to three-dimensional displays [J]. Journal of the Optical Society of America A, 1992, 9(11): 1969-1977. doi:  10.1364/JOSAA.9.001969
    [48] Lucente M. Interactive computation of holograms using a look-up table [J]. Journal of Electronic Imaging, 1993, 2(1): 28-34. doi:  10.1117/12.133376
    [49] Nishi S, Shiba K, Mori K, et al. Fast calculation of computer-generated Fresnel hologram utilizing distributed parallel processing and array operation [J]. Optical Review, 2005, 12(4): 287-292. doi:  10.1007/s10043-005-0287-4
    [50] Ahrenberg L, Benzie P, Magnor M, et al. Computer generated holography using parallel commodity graphics hardware [J]. Optics Express, 2006, 14(17): 7636-7641. doi:  10.1364/OE.14.007636
    [51] Huebschman M L, Munjuluri B, Garner H R. Dynamic holographic 3-D image projection [J]. Optics Express, 2003, 11(5): 437-445. doi:  10.1364/OE.11.000437
    [52] Guo C S, Rong Z Y, Wang H T, et al. Phase-shifting with computer-generated holograms written on a spatial light modulator [J]. Applied Optics, 2003, 42(35): 6975-6979. doi:  10.1364/AO.42.006975
    [53] Matsushima K, Schimmel H, Wyrowski F. Fast calculation method for optical diffraction on tilted planes by use of the angular spectrum of plane waves [J]. Journal of the Optical Society of America A, 2003, 20(9): 1755-1762. doi:  10.1364/JOSAA.20.001755
    [54] Matsushima K, Nakahara S. Extremely high-definition full-parallax computer-generated hologram created by the polygon-based method [J]. Applied Optics, 2003, 48(34): H54-H63.
    [55] Ahrenberg L, Benzie P, Magnor M, et al. Computer generated holograms from three dimensional meshes using an analytic light transport model [J]. Applied Optics, 2008, 47(10): 1567-1574. doi:  10.1364/AO.47.001567
    [56] Wakunami K, Yamaguchi M. Calculation for computer generated hologram using ray-sampling plane [J]. Optics Express, 2011, 19(10): 9086-9101. doi:  10.1364/OE.19.009086
    [57] Kurihara T, Takaki Y. Shading of a computer-generated hologram by zone plate modulation [J]. Optics Express, 2012, 20(4): 3529-3540. doi:  10.1364/OE.20.003529
    [58] Ichikawa T, Yamaguchi K, Sakamoto Y. Realistic expression for full-parallax computer-generated holograms with the ray-tracing method [J]. Applied Optics, 2013, 52(1): A201-A209. doi:  10.1364/AO.52.00A201
    [59] Zhao Y, Cao L, Zhang H, et al. Accurate calculation of computer-generated holograms using angular-spectrum layer-oriented method [J]. Optics Express, 2015, 23(20): 25440-25449. doi:  10.1364/OE.23.025440
    [60] Smalley D E, Smithwick Q Y J, Bove V M, et al. Anisotropic leaky-mode modulator for holographic video displays [J]. Nature, 2013, 498: 313-317. doi:  10.1038/nature12217
    [61] Inoue T, Takaki Y. Table screen 360-degree holographic display using circular viewing-zone scanning [J]. Optics Express, 2015, 23(5): 6533-6542. doi:  10.1364/OE.23.006533
    [62] Horisaki R, Takagi R, Tanida J. Deep-learning-generated holography [J]. Applied Optics, 2018, 57(14): 3859-3863. doi:  10.1364/AO.57.003859
    [63] Blinder D. Direct calculation of computer-generated holograms in sparse bases [J]. Optics Express, 2019, 27(16): 23124-23137. doi:  10.1364/OE.27.023124
    [64] Cencillo-Abad P, Plum E, Rogers E T F, et al. Spatial optical phase-modulating metadevice with subwavelength pixelation [J]. Optics Express, 2016, 24(16): 18790-18798. doi:  10.1364/OE.24.018790
    [65] Martins A, Li J, da Mota A F, et al. Broadband C-Si metasurfaces with polarization control at visible wavelengths: applications to 3 D stereoscopic holography [J]. Optics Express, 2018, 26(23): 30740-30752. doi:  10.1364/OE.26.030740
    [66] Wu J, Fu S, Zhang X, et al. Graphene-oxide/TiO2 nanocomposite films with electron-donors for multicolor holography [J]. Optics Express, 2019, 27(2): 1740-1749. doi:  10.1364/OE.27.001740
    [67] Jiang Q, Cao L, Zhang H, et al. Improve the quality of holographic image with complex-amplitude metasurface [J]. Optics Express, 2019, 27(23): 33700-33708. doi:  10.1364/OE.27.033700
    [68] Li J, Smithwick Q, Chu D. Scalable coarse integral holographic video display with integrated spatial image tiling [J]. Optics Express, 2020, 28(7): 9899-9912. doi:  10.1364/OE.386675
    [69] An J, Won K, Kim Y, et al. Slim-panel holographic video display [J]. Nature Communications, 2020, 11: 5568. doi:  10.1038/s41467-020-19298-4
    [70] Shi L, Li B, Kim C, et al. Towards real-time photorealistic 3D holography with deep neural networks [J]. Nature, 2021, 591: 234-239. doi:  10.1038/s41586-020-03152-0
    [71] Lohmann A W, Paris D P. Binary Fraunhofer holograms, generated by computer [J]. Applied Optics, 1967, 6(10): 1739-1748. doi:  10.1364/AO.6.001739
    [72] Shimobaba T, Ito T. Random phase-free computer-generated hologram [J]. Optics Express, 2015, 23(7): 9549-9554. doi:  10.1364/OE.23.009549
    [73] Wyrowski F, Bryngdahl O. Speckle-free reconstruction in digital holography [J]. Journal of the Optical Society of America A, 1989, 6(8): 1171-1174. doi:  10.1364/JOSAA.6.001171
    [74] Zea A V, Torroba R. Optimized random phase tiles for non-iterative hologram generation [J]. Applied Optics, 2019, 58(32): 9013-9019. doi:  10.1364/AO.58.009013
    [75] Ma H, Liu J, Yang M, et al. Influence of limited random-phase of objects on the image quality of 3 D holographic display [J]. Optics Communications, 2017, 385: 153-159. doi:  10.1016/j.optcom.2016.10.042
    [76] Zhao T, Liu J, Duan J, et al. Image quality enhancement via gradient-limited random phase addition in holographic display [J]. Optics Communications, 2019, 442: 84-89. doi:  10.1016/j.optcom.2019.02.026
    [77] Nagahama Y, Shimobaba T, Kakue T, et al. Image quality improvement of random phase-free holograms by addressing the cause of ringing artifacts [J]. Applied Optics, 2019, 58(9): 2146-2151. doi:  10.1364/AO.58.002146
    [78] Mengu D, Ulusoy E, Urey H. Non-iterative phase hologram computation for low speckle holographic image projection [J]. Optics Express, 2016, 24(5): 4462-4476. doi:  10.1364/OE.24.004462
    [79] Cruz M L. Full image reconstruction with reduced speckle noise, from a partially illuminated Fresnel hologram, using a structured random phase [J]. Applied Optics, 2019, 58(8): 1917-1923. doi:  10.1364/AO.58.001917
    [80] He Z, Sui X, Zhang H, et al. Frequency-based optimized random phase for computer-generated holographic display [J]. Applied Optics, 2021, 60(4): A145-A154. doi:  10.1364/AO.404934
    [81] Gerchberg R W, Saxton W O. A practical algorithm for the determination of phase from image and diffraction plane pictures [J]. Optik, 1971, 35(2): 1-6.
    [82] Chen C Y, Deng Q L, Wu P J, et al. Speckle reduction by combination of digital filter and optical suppression in a modified Gerchberg-Saxton algorithm computer-generated hologram [J]. Applied Optics, 2014, 53(27): G163-G168. doi:  10.1364/AO.53.00G163
    [83] Deng Q L, Lin B S, Chang H T, et al. MGSA-type computer-generated holography for vision training with head-mounted display [J]. Journal of Display Technology, 2014, 10(6): 433-437. doi:  10.1109/JDT.2013.2276129
    [84] Chen C Y, Chang H T, Chang T J, et al. Full-color and less-speckled modified Gerchberg-Saxton algorithm computer-generated hologram floating in a dual-parabolic projection system [J]. Chinese Optics Letters, 2015, 13(11): 110901. doi:  10.3788/COL201513.110901
    [85] Liu S C, Chu D. Deep learning for hologram generation [J]. Optics Express, 2021, 29(17): 27373-27395. doi:  10.1364/OE.418803
    [86] Kang J W, Park B S, Kim J K, et al. Deep-learning-based hologram generation using a generative model [J]. Applied Optics, 2021, 60(24): 7391-7399. doi:  10.1364/AO.427262
    [87] Goi H, Komuro K, Nomura T. Deep-learning-based binary hologram [J]. Applied Optics, 2020, 59(23): 7103-7108. doi:  10.1364/AO.393500
    [88] Lee J, Jeong J, Cho J, et al. Deep neural network for multi-depth hologram generation and its training strategy [J]. Optics Express, 2020, 28(18): 27137-27154. doi:  10.1364/OE.402317
    [89] Shimobaba T, Blinder D, Makowski M, et al. Dynamic-range compression scheme for digital hologram using a deep neural network [J]. Optics Letters, 2019, 44(12): 3038-3041.
    [90] Wu J, Liu K, Sui X, et al. High-speed computer-generated holography using an autoencoder-based deep neural network [J]. Optics Letters, 2021, 46(12): 2908-2011. doi:  10.1364/OL.425485
    [91] Yao K, Wang J, Liu X, et al. Analysis of a holographic laser adaptive optics system using a deformable mirror [J]. Applied Optics, 2017, 56(23): 6639-6648. doi:  10.1364/AO.56.006639
    [92] Andersen G, Austin P G, Gaddipati R, et al. Fast, compact, autonomous holographic adaptive optics [J]. Optics Express, 2014, 22(8): 9432-9441. doi:  10.1364/OE.22.009432
    [93] Neil M A, Booth M J, Wilson T. Closed-loop aberration correction by use of a modal Zernike wave-front sensor [J]. Optics Express, 2000, 25(15): 1083-1085.
    [94] Otón J, Ambs P, Millán M S, et al. Multipoint phase calibration for improved compensation of inherent wavefront distortion in parallel aligned liquid crystal on silicon displays [J]. Applied Optics, 2007, 46(23): 5667-5679. doi:  10.1364/AO.46.005667
    [95] Yeom H J, Kim H J, Kim S B, et al. 3 D holographic head mounted display using holographic optical elements with astigmatism aberration compensation [J]. Optics Express, 2015, 23(25): 32025-32034. doi:  10.1364/OE.23.032025
    [96] Kaczorowski A, Gordon G S, Wilkinson T D. Adaptive, spatially-varying aberration correction for real-time holographic projectors [J]. Optics Express, 2016, 24(14): 15742-15756. doi:  10.1364/OE.24.015742
    [97] Kaczorowski A, Gordon G S, Palani A, et al. Optimization-based adaptive optical correction for holographic projectors [J]. Journal of Display Technology, 2015, 11(7): 596-603. doi:  10.1109/JDT.2015.2418436
    [98] Haist T, Peter A, Osten W. Holographic projection with field-dependent aberration correction [J]. Optics Express, 2015, 23(5): 5590-5595. doi:  10.1364/OE.23.005590
    [99] He Z, Sui X, Jin G, et al. Distortion-correction method based on angular spectrum algorithm for holographic display [J]. IEEE Transactions on Industrial Informatics, 2019, 15(11): 6162-6169. doi:  10.1109/TII.2019.2906642
    [100] Silva R. 3D TV is dead - what you need to know [R/OL].[2013-01-17].https://www.lifewire.com/why-3 d-tv-died-4126776.
    [101] Chen R H Y, Wilkinson T D. Computer generated hologram from point cloud using graphics processor [J]. Applied Optics, 2009, 48(36): 6841-6850. doi:  10.1364/AO.48.006841
    [102] Su P, Cao W, Ma J, et al. Fast computer-generated hologram generation method for three-dimensional point cloud model [J]. Journal of Display Technology, 2016, 12(12): 1688-1694. doi:  10.1109/JDT.2016.2553440
    [103] Chen J S, Chu D P. Improved layer-based method for rapid hologram generation and real-time interactive holographic display applications [J]. Optics Express, 2015, 23(14): 18143-18155. doi:  10.1364/OE.23.018143
    [104] Jia J, Si J, Chu D. Fast two-step layer-based method for computer generated hologram using sub-sparse 2 D fast Fourier transform [J]. Optics Express, 2018, 26(13): 17487-17497. doi:  10.1364/OE.26.017487
    [105] Pan Y, Wang Y, Liu J, et al. Fast polygon-based method for calculating computer-generated holograms in three-dimensional display [J]. Applied Optics, 2013, 52(1): A290-A299. doi:  10.1364/AO.52.00A290
    [106] Liu J P, Liao H K. Fast occlusion processing for a polygon-based computer-generated hologram using the slice-by-slice silhouette method [J]. Applied Optics, 2018, 57(1): A215-A221. doi:  10.1364/AO.57.00A215
    [107] Yamaguchi M, Wakunami K, Inaniwa M. Computer generated hologram from full-parallax 3 D image data captured by scanning vertical camera array [J]. Chinese Optics Letters, 2014, 12(6): 060018. doi:  10.3788/COL201412.060018
    [108] Yanagihara H, Kakue T, Yamamoto Y, et al. Real-time three-dimensional video reconstruction of real scenes with deep depth using electro-holographic display system [J]. Optics Express, 2019, 27(11): 15662-15678. doi:  10.1364/OE.27.015662
    [109] Ichihashi Y, Oi R, Senoh T, et al. Real-time capture and reconstruction system with multiple GPUs for a 3 D live scene by a generation from 4 K IP images to 8 K holograms [J]. Optics Express, 2012, 20(19): 21645-21655. doi:  10.1364/OE.20.021645
    [110] Wu J, Chen H, Liu X, et al. Unsupervised texture reconstruction method using bidirectional similarity function for 3-D measurements [J]. Optics Communications, 2019, 439: 85-93. doi:  10.1016/j.optcom.2019.01.051
    [111] Yamaguchi M. Light-field and holographic three-dimensional displays [J]. Journal of Optics Society of America A, 2016, 33(12): 2348-2364. doi:  10.1364/JOSAA.33.002348
    [112] Igarashi S, Nakamura T, Matsushima K, et al. Efficient tiled calculation of over-10-gigapixel holograms using ray-wavefront conversion [J]. Optics Express, 2018, 26(8): 10773-10786. doi:  10.1364/OE.26.010773
    [113] Tsai S F, Cheng C C, Li C T, et al. A real-time 1080 p 2 D-to-3 D video conversion system [J]. IEEE Transactions on Consumer Electronics, 2011, 57(2): 915-922. doi:  10.1109/TCE.2011.5955240
    [114] Cheng C C, Li C T, Chen L G. A novel 2D-to-3D conversion system using edge information [J]. IEEE Transactions on Consumer Electronics, 2010, 56(3): 1739-1745. doi:  10.1109/TCE.2010.5606320
    [115] Lai Y K, Lai Y F, Chen Y C. An effective hybrid depth-generation algorithm for 2D-to-3D conversion in 3 D displays [J]. Journal of Display Technology, 2013, 9(3): 154-161. doi:  10.1109/JDT.2012.2224637
    [116] Zhang Z, Yin S, Liu L, et al. A real-time time-consistent 2D-to-3D video conversion system using color histogram [J]. IEEE Transactions on Consumer Electronics, 2015, 61(4): 524-530. doi:  10.1109/TCE.2015.7389808
    [117] Gil J, Kim M. Motion depth generation using MHI for 2D-to-3D video conversion [J]. Electronics Letters, 2017, 53(23): 1520-1522. doi:  10.1049/el.2017.1505
    [118] He Z, Sui X, Cao L. Holographic 3D display using depth maps generated by 2 D-to-3 D rendering approach [J]. Applied Sciences, 2021, 11(21): 9889. doi:  10.3390/app11219889
    [119] Huang W, Cao X, Lu K, et al. Toward naturalistic 2D-to-3D conversion [J]. IEEE Transactions on Image Processing, 2015, 24(2): 724-733. doi:  10.1109/TIP.2014.2385474
    [120] Konrad J, Wang M, Ishwar P, et al. Learning-based, automatic 2D-to-3D image and video conversion [J]. IEEE Transactions on Image Processing, 2013, 22(9): 3485-3496. doi:  10.1109/TIP.2013.2270375
    [121] J L Herrera, C R del-Blanco, N García. A novel 2D to 3D video conversion system based on a machine learning approach [J]. IEEE Transactions on Consumer Electronics, 2016, 62(4): 429-436. doi:  10.1109/TCE.2016.7838096
  • [1] 郑伟, 席思星, 王桂林, 李永宏, 姜其畅.  结合计算全息和频移的JTC系统多图像光学加密方法 . 红外与激光工程, 2022, 51(5): 20220175-1-20220175-7. doi: 10.3788/IRLA20220175
    [2] 朱刘昊, 秦雪云, 台玉萍, 李新忠.  摆线光束的微粒等间距操控(特邀) . 红外与激光工程, 2021, 50(9): 20210380-1-20210380-7. doi: 10.3788/IRLA20210380
    [3] 汪侃, 龚俊, 魏敬和, 朱策, 刘凯.  邻图配对式运动恢复结构的欧式三维重建 . 红外与激光工程, 2020, 49(6): 20200078-1-20200078-8. doi: 10.3788/IRLA20200078
    [4] 李子乐, 周舟, 梁聪玲, 郑国兴.  融合计算全息术与纳米印刷术的多功能超表面研究进展 . 红外与激光工程, 2020, 49(9): 20201036-1-20201036-15. doi: 10.3788/IRLA20201036
    [5] 伍小燕, 于瀛洁, 白跃伟, 聂黎, 刘凯, 潘芳煜, 王小刚.  基于频域变密度减采样的无放大同轴全息图的压缩传感层析重建 . 红外与激光工程, 2020, 49(S1): 20190500-20190500. doi: 10.3788/IRLA20190500
    [6] 于瀛洁, 林星羽, 伍小燕.  放大同轴全息图压缩传感层析重建 . 红外与激光工程, 2019, 48(6): 603017-0603017(7). doi: 10.3788/IRLA201948.0603017
    [7] 蔡文涛, 李晶, 江海波, 孙秀辉, 杨若夫, 尹韶云.  基于非均匀采样的高分辨曲面投影计算全息方法 . 红外与激光工程, 2019, 48(5): 524004-0524004(6). doi: 10.3788/IRLA201948.0524004
    [8] 曹良才, 何泽浩, 赵燕, 金国藩.  面向层结构的角谱传播计算全息算法(特邀) . 红外与激光工程, 2018, 47(6): 603001-0603001(9). doi: 10.3788/IRLA201847.0603001
    [9] 卢纯青, 宋玉志, 武延鹏, 杨孟飞.  基于TOF计算成像的三维信息获取与误差分析 . 红外与激光工程, 2018, 47(10): 1041004-1041004(7). doi: 10.3788/IRLA201847.1041004
    [10] 佀同岭, 朴燕, 李敏.  基于光线追迹的LED裸眼三维显示技术准直性研究 . 红外与激光工程, 2018, 47(6): 603002-0603002(6). doi: 10.3788/IRLA201847.0603002
    [11] 顾华荣.  计算全息三维显示的数据压缩编码技术 . 红外与激光工程, 2018, 47(6): 603006-0603006(6). doi: 10.3788/IRLA201847.0603006
    [12] 李鹏, 种文艳, 马永军.  加工中心工件在机三维检测系统的光平面标定 . 红外与激光工程, 2017, 46(3): 317002-0317002(7). doi: 10.3788/IRLA201746.0317002
    [13] 张欣婷, 安志勇, 亢磊.  三维激光雷达发射/接收共光路光学系统设计 . 红外与激光工程, 2016, 45(6): 618004-0618004(5). doi: 10.3788/IRLA201645.0618004
    [14] 侯佳, 何志平, 舒嵘.  离轴三反光纤阵列激光三维成像发射系统 . 红外与激光工程, 2016, 45(4): 406001-0406001(5). doi: 10.3788/IRLA201645.0406001
    [15] 陈超, 於燕琴, 黄淑君, 刘晓利, 徐静, 张宗华.  三维小视场成像系统 . 红外与激光工程, 2016, 45(8): 824002-0824002(6). doi: 10.3788/IRLA201645.0824002
    [16] 闫高宾, 于佳, 刘惠萍, 阚凌雁, 王金城.  基于计算全息的全视差合成全息研究 . 红外与激光工程, 2015, 44(8): 2467-2471.
    [17] 王颖, 张瑞.  管道内表面圆结构光视觉三维测量系统 . 红外与激光工程, 2014, 43(3): 891-896.
    [18] 王明明, 朱枫, 郝颖明.  测地自旋图院三维物体局部形状描述符 . 红外与激光工程, 2014, 43(8): 2709-2714.
    [19] 朱艳英, 姚文颖, 李云涛, 魏勇, 王锁明.  计算全息法产生涡旋光束的实验 . 红外与激光工程, 2014, 43(12): 3907-3911.
    [20] 范俊叶, 尹博超, 王文生.  双曝光数字全息三维变形测试 . 红外与激光工程, 2014, 43(5): 1582-1586.
  • 加载中
图(9) / 表(3)
计量
  • 文章访问数:  1280
  • HTML全文浏览量:  290
  • PDF下载量:  278
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-11-01
  • 录用日期:  2021-12-28
  • 修回日期:  2021-11-28
  • 网络出版日期:  2022-02-10
  • 刊出日期:  2022-01-25

元宇宙中的动态全息三维显示:发展与挑战(特邀)

doi: 10.3788/IRLA20210935
    作者简介:

    曹良才,男,教授,博士生导师,博士,主要从事全息光学成像与显示技术等方面的研究

    通讯作者: 何泽浩,男,博士,主要从事三维显示、计算全息及全息通讯等方面的研究。
基金项目:  国家自然科学基金(61775117,62035003);博士后创新人才支持计划(BX2021140);清华大学自主科研计划(20193080075)
  • 中图分类号: O436

摘要: 相比二维显示,三维显示可以提供更接近真实世界的图像内容,是5G、大数据、元宇宙和物联网领域的关键性技术。计算全息三维显示可以提供所有种类的深度线索,被认为是三维显示的终极实现方式,在智能制造、远程教育、异地办公和娱乐社交等领域都具有广阔的应用前景。文中首先介绍了计算全息技术的发展历史和重要技术节点,分析了高质量全息动态三维显示面临的挑战,主要包括计算全息图重建质量不足、波前调制器件和全息显示系统性能受限以及三维内容源匮乏等,进一步介绍了已有的解决方案,比较了各类方案的优势与不足,进而分析了高质量全息动态三维显示的主要研究方向,包括低噪声全息图的获取、像质优化和畸变校正技术的开发以及三维内容源的构建。实现高质量、低噪声、无畸变、高刷新、真三维的动态全息三维显示,是计算全息显示发展的必由之路,也是元宇宙等典型应用对全息三维显示提出的必然要求。

English Abstract

    • 人类从真实世界获取的各类信息中,视觉信息占据了超过80%的比例[1]。大脑近50%的运算能力被用以处理视觉信息[2]。当前,视觉信息主要包括两大类:真实世界的景物内容和显示系统的图像内容。真实世界的景物内容多为三维信息,它能充分调用人类的感知能力和运算潜能;传统显示系统的图像内容多为缺乏深度线索的二维平面信息,难以充分利用人类的视觉感知和理解能力,存在信息量缺失和真实性不足的问题。探索新型显示技术,使显示的图像内容更接近真实世界的景物内容,是显示领域工作者追求的重要目标。

      2009年,三维电影《阿凡达》上映,三维显示技术再次进入大众视野。2014年,虚拟现实(VR)和增强现实(AR)技术快速发展。三维显示技术作为VR/AR的重要支撑,获得了广泛的关注。2019年,华为公司发布了《5G时代十大应用场景白皮书》,三维显示被列入重点发展技术目录[3],表明三维显示受到了产业界的重点关注。未来,三维显示可应用在智能制造、远程医疗以及娱乐社交等领域,具有可观的市场价值。美国信息产业分析机构Grand View Research指出,2021~2025年,全球三维显示行业的年复合增长率预计可达到19.4%。到2025年底,全球三维显示市场的总规模将达到2 041.6亿美元[4]。2021年,Facebook公司更名为Meta,计划集全公司之力进军元宇宙行业,催生了元宇宙行业的爆发式发展。作为元宇宙的重要技术支撑,三维显示再次获得了学界和业界的共同关注。2021年,百度公司公布了旗下首个元宇宙产品“希壤”,并计划通过希壤APP举办百度AI开发者大会,最高可容纳10万人同屏互动。

      元宇宙是一个与现实世界相互平行、彼此影响并且始终在线的数字虚拟世界。用户可在元宇宙中生活、娱乐、学习和工作,开展虚拟购物、在线学习和博物馆游览等活动。区块链、人机交互、人工智能、网络传输以及大数据处理等技术是实现元宇宙的关键。VR/AR、三维显示、动作感知与处理等先进的人机交互技术可以为元宇宙用户提供更具沉浸感的虚拟现实体验。在三维显示技术中,三维显示效果最为关键的评价指标是三维深度线索。深度线索泛指一切可以为使用者提供深度感知的特征信息,通常被分为心理学和生理学两类,如图1所示。心理学深度线索指的是二维画面中能够诱发三维感知的特征信息,主要包括线性透视、遮挡、阴影、纹理和先验知识等[5]。生理学深度线索指的是通过三维场景空间位置关系诱发的三维感知特征信息,可进一步分为双目深度线索和单目深度线索两类。典型的双目深度线索包括双目视差和双目视轴会聚,前者指左、右眼观看同一个三维场景时画面会有不同,后者指观看不同深度物体时左、右眼视轴夹角会有变化。典型的单目深度线索有聚焦、运动视差和遮挡变化[6]。其中,眼睛观看不同深度物体时利用肌肉紧张程度不同实现焦距改变的现象称为聚焦,观看者位置改变时不同物体相对人眼角度变化量不同的现象称为运动视差,观看者位置改变时不同物体之间遮挡关系发生改变的现象称为遮挡变化。对于三维显示而言,心理学深度线索通常容易获得,单目深度线索通常难以获得。

      图  1  三维显示中的各类三维深度线索

      Figure 1.  Various 3D depth cues in 3D display

      三维显示系统提供的深度线索越丰富,显示画面的立体感越强。当前三维显示有双目视觉显示、体三维显示、光场显示以及全息显示等实现方式。双目视觉显示已广泛应用在电视、电影以及游戏等行业中。该方式需要将三维场景渲染为略有不同的两幅二维图像,并分别投射到观看者的左、右眼区域[7]。通过大脑融合,观看者可以通过二维图像获得三维感知。双目视觉显示可分为非裸眼式和裸眼式两大类。非裸眼式显示需要使用分色眼镜、偏振眼镜、快门眼镜或头盔式显示器等配件;裸眼式显示需要使用视差屏障或者柱透镜阵列等光学元件。双目视觉显示可以提供所有种类的心理学线索和双目深度线索,但难以呈现单目深度线索[8-9]。长时间观看这类显示设备,可能导致视觉疲劳、眩晕以及恶心等不适感。这种不适感是由于会聚-调焦冲突导致的[10]。近年来,基于人眼追踪的双目视觉显示提供了运动视差和遮挡变化等深度线索[11-12]。但是,这类设备难以完美提供聚焦线索,对会聚-调焦冲突的改善较为有限。会聚-调焦冲突是双目视觉显示亟需突破的技术瓶颈。

      体三维显示是一种利用空间发光物点构建三维目标的显示方式[13-15]。空间发光物点又被称为三维显示的体像素。根据体像素产生方式的不同,体三维显示可进一步分为激发式和扫描式两大类。激发式体三维显示使用超高速调制器件控制激光照射三维空间内的特定位置,促使相应位置的介质受激发光[16]。扫描式体三维显示使用快速平移或旋转的发光器件时序点亮特定位置上的体像素,进而实现目标图像的三维重建[17]。体三维显示可以提供几乎所有种类的生理学线索。但是,受限于体像素数量不足的影响,体三维显示难以完整提供遮挡、阴影和纹理等心理学线索。

      光场显示是利用光线重建三维场景的显示方式[18-22]。三维空间中的任意光线都可以通过七维全光函数描述[23]。由于空间物点可看作多条光线的交点,全光函数同样可以用来描述三维目标图像。为了减小运算量,实际中会将全光函数简化为四维光场函数进行计算[24]。光场显示的本质,就是通过适当的光线分布实现目标图像的三维复现。根据构建方式的不同,光场显示可进一步分为层结构式、投影式以及集成成像式[25]等主要类型。光场显示可以提供所有种类的心理学线索和双目深度线索,并可以提供运动视差和遮挡变化等单目深度线索。但是,传统的光场显示难以完整提供聚焦线索。最新出现的多层光场显示技术[26-27]可以提供聚焦线索,大大提升了光场显示的三维显示效果。

      全息三维显示是一种利用波前信息实现三维场景重建的显示方式。通过波前记录的方式,全息图完整保留了待重建物体的振幅和相位信息,因此可以准确复现三维目标的强度和深度[28-35]。理论上,全息显示可以提供所有种类的深度线索,被认为是三维显示的终极实现方式。以上各类三维显示方式能够提供的深度线索如图2所示,图中(1)~(10)分别表示线性透视、遮挡、阴影、纹理、先验知识、双目视差、双目视轴会聚、运动视差、聚焦以及遮挡变化。可以看出,双目视觉方案多缺乏运动视差、聚焦以及遮挡变化等线索,体三维显示方案难以完整呈现遮挡、阴影以及纹理等线索,光场显示大多缺少聚焦线索。全息显示可以提供所有种类的深度线索,具有优秀的三维呈现能力,预计可在元宇宙领域得到广泛的应用。

      图  2  不同三维显示方式能够提供的深度线索

      Figure 2.  Depth cues provided by different 3D display technologies

    • 传统的全息记录和重建过程依赖于光学系统和全息材料[36],其原理如图3(a)所示。这种使用光学系统实现波前记录与重建的技术被称为光学全息术(OH),获得的波前条纹分布被称为光学全息图。光学全息图通常为静态全息图,无法实现动态擦写。同时,光学全息图的记录和重建对光路稳定性要求较为苛刻。这些因素制约了光学全息技术在动态三维显示领域的应用。

      图  3  (a) 光学全息记录和重建;(b) 计算全息记录和重建;(c) 数字全息记录与重建

      Figure 3.  Recording and reconstruction of (a) optical holography, (b) computer-generated holography and (c) digital holography

      随着计算机技术的发展,波前记录过程可以通过全息算法模拟完成,其过程如图3(b)所示。使用全息算法实现波前记录、使用空间光调制器(SLM)实现波前重建的技术通常被称为计算全息技术(CGH)[37]。相比光学全息术,计算全息技术具有三大优点:第一,计算全息图可以借助SLM实现动态刷新,进而实现动态三维全息显示;第二,全息图的获取过程可以摆脱光学实验条件的限制;第三,目标物体既可以是实际存在的三维物体,也可以是数字三维模型。计算全息技术是面向未来的三维显示技术,可用于智能制造、远程教育、异地办公和娱乐社交等领域,具有十分可观的应用价值。此外,当全息记录过程由实验光路和传感器实现,全息重建过程由数字算法模拟完成,这种技术通常被称为数字全息技术(DH),其原理如图3(c)所示。

      计算全息技术最早由德国科学家Lohmann等人在1966年提出[38-39]。在早期发展阶段,计算全息领域的研究重点是全息计算模型和全息图编码技术,比较具有代表性的工作成果包括Waters提出的基于点云模型的计算全息图生成算法[40]、Lesem等人提出的Kinoform相位型全息图编码方法[41]以及Lee提出的离散傅里叶全息图计算方法[42]等。在这一阶段,计算机性能尚不足以支撑三维物体全息图的计算,因此选取的目标物体通常为二维物体;同时,动态SLM在这一阶段尚未出现,全息图往往需要使用绘图仪进行制作。受限于绘图仪的性能参数,全息图分辨率较为有限,重建质量比较一般,难以实现动态调制。

      20世纪80、90年代,面向三维物体的全息计算方法开始出现。这一阶段较为经典的成果有Leseberg等人提出的基于面元模型的计算全息算法[43]、Yamaguchi等人提出的全息体视图算法[44]以及Yoshikawa等人提出的积分全息算法[45]。同时,声光调制器(AOM)等新型调制器件开始应用于计算全息领域。Benton等人利用AOM开发的MIT Mark I系统[46-47]是计算全息发展史上的重要里程碑。考虑到三维物体的全息图计算过程非常耗时,全息加速算法也在这一时期开始出现。Lucente提出的查表法就是这一方向的代表性成果[48]

      2000年后,计算全息技术进入爆发式发展阶段。这一阶段的研究成果在深度和广度上相比早期都有了质的飞跃。在全息计算加速算法领域,Nishi和Ahrenberg等人分别开发了全息并行加速运算技术,使全息图的生成速度成倍提升[49-50]。在全息重建领域,得益于数字微镜器件(DMD)和液晶(LC)器件等像素化的动态调制器件,高质量动态全息三维重建成为可能[51-52]。运算速度更快的高质量全息计算模型陆续出现。Matsushima等人提出的角谱传输算法[53]、基于多边形的全视差算法[54]以及Ahrenberg等人提出的三维网格算法[55]都在日后得到了相当广泛的应用。不过,这一阶段计算机的运算能力依然较为有限,动态器件的空间带宽积(SBP)严重不足,动态全息三维重建的图像质量与真实感亟需改善。

      为了提升全息图的重建质量与计算效率,研究者在算法方面展开了众多研究。Wakunami等人提出的光线采样算法能够呈现具有角度反射特性的高分辨率三维重建图像,弥补了传统方法中全息重建结果缺乏光泽感的不足[56];Kurihara等人将计算机图形学中的Phong反射模型运用在计算全息领域,全息重建结果呈现出了随观察位置变化的光线反射效果[57];Ichikawa等人基于光线追迹法对目标三维物体进行了渲染,考虑了物体表面光线的真实传播路径,最终呈现了符合真实规律的遮挡变化关系[58];Zhao等人开发了基于分层角谱模型的全息算法,在重建质量与传统点云法接近的前提下,将全息图的计算速度提升了近2个数量级[59],其算法原理和全息重建结果如图4所示。为了提升全息图的光学重建质量,研究者针对空间带宽积的扩展进行了许多研究。Smalley等人设计了一套基于各向异性漏模耦合器件的全息显示系统,在较低的成本下实现了高带宽、大角度、全彩色的全息三维动态显示[60];Inoue等人提出了一种桌面式的全息显示系统,通过对观察空间进行循环扫描,实现了360°的全景三维全息显示[61]

      图  4  (a) 全息三维显示系统示意图;(b) 全息三维重建结果[59]

      Figure 4.  (a) Holographic 3D display system; (b) Holographic 3D reconstructions [59]

      2016年起,伴随着计算机和材料性能的革命性发展,计算全息技术的发展速度越来越快。在算法方面,Horisaki等人提出了一种基于卷积深度神经网络的非迭代全息图计算方法,可以在较短计算时间内计算获得重建质量较高的全息图[62];Blinder提出了一种基于稀疏域的计算全息算法,通过将点扩散函数变换到稀疏域进行计算的方式,实现了20倍以上的速度提升[63]。在系统和器件方面,Cencillo-Abad等人提出的新型相变器件[64]、Martins等人提出的基于C-Si材料的超表面调制器件[65]、Wu等人提出的基于石墨烯氧化物的复合薄膜[66]以及Jiang等人提出的超表面全息调制器件[67]都为大角度、高质量的计算全息显示提供了可选方案;Li等人开发的基于粗积分的可变尺寸全息视频显示系统,扩大了系统的显示尺寸和视场角,实现了大尺寸、大角度的彩色动态三维重建[68],如图5所示。

      图  5  (a) 基于粗积分的全息视频显示系统;(b) 彩色三维全息重建结果[68]

      Figure 5.  (a) Holographic video display system based on coarse integration; (b) Full-color 3D holographic reconstructions [68]

      2020年至今,《自然通讯》杂志和《自然》杂志连续刊登了两篇计算全息领域的工作,标志着计算全息技术已经成为当下科学研究的一大热点。其中,An等人在《自然通讯》杂志发表的工作展示了一套使用相干背光单元和全息视频处理器的超薄全息显示系统,将全息显示的视场角扩展了30倍,并且实现了实时高质量的全息图计算,其系统图及全息显示结果如图6所示[69]。Shi等人在《自然》杂志发表的工作展示了一种基于深度学习网络的计算全息算法。该算法基于卷积神经网络,可以基于彩色三维模型实时生成相应的计算全息图,配合低功耗的人工智能加速芯片,实现了高质量全息图的实时生成,显著降低了散斑噪声对重建结果的影响[70],在VR/AR领域具有广阔的应用前景。

      图  6  (a) 超薄全息三维显示系统;(b) 彩色三维全息重建结果[69]

      Figure 6.  (a) Slim-panel holographic 3D display system; (b) Full-color 3D holographic reconstruction 69]

      上述计算全息发展史可以由图7进行描述。可以看出,计算全息技术的发展历史一直呈现出“软硬并进”的局面。寻找波前重建精确度更高的物理模型、开发更具实时性的全息计算方法是计算全息在算法领域的追求;设计分辨率更高、刷新速度更快以及视场角更大的调制器件,构建SBP更高的全息显示系统,是计算全息在硬件领域的追求。未来的计算全息技术仍会沿着这两大方向继续开拓。

      图  7  计算全息技术发展简史

      Figure 7.  The brief history of computer-generated holography

    • 元宇宙对三维显示提出了极高的要求,用户需要在三维虚拟世界中完全自由的浏览和交互。当前,动态三维计算全息面临的挑战主要集中在以下几个方面:首先,现有的计算全息图存在重建质量受限的问题,需要设计低噪声的全息方法,实现高质量、低噪声的全息重建;其次,器件的性能参数和系统的装调误差制约了全息显示质量,需要针对器件和系统特点开发像质优化和畸变校正技术,实现高精度、无畸变的全息显示;最后,显示内容的匮乏和展示度的不足阻碍了计算全息显示的应用前景,需要获取符合计算全息特点的三维内容源并构建高展示度的全息三维显示系统,实现高刷新、真三维的全息显示。

    • 在全息图的计算过程中,随机相位常常被用于模拟真实物体的表面散射特性[71]。目标物体的低频分量在随机相位的作用下扩散到了全息记录平面上的更大区域,避免了全息图动态范围不足对全息重建质量的限制,获得了更高的全息重建质量。然而,随机相位又造成了目标物体高频分量的过度扩散,导致部分高频信息无法被全息图完全记录,制约了重建结果的细节展现能力。此外,随机相位中不连续的相位突变点会导致散斑噪声[72],显著降低了全息图的重建质量。为了解决这一问题,全息算法中的随机相位需要被进一步优化。

      Wyrowski等人提出了一种基于迭代的随机相位优化方法,提高了纯振幅型全息图的重建质量[73]。该方法迭代优化的对象是随机相位而非目标物体,因此目标物体发生改变时,无需再次进行迭代,显著提高了不同物体全息图的生成效率[74]。Ma等人提出了基于幅值约束的随机相位优化方法[75]。该方法中,随机相位的幅值会根据目标物体的不同而发生改变,经过时间平均后全息重建结果的峰值信噪比(PSNR)较传统方法可提高10 dB以上。Zhao等人提出了基于梯度的随机相位优化方法[76]。该方法在目标物体的低频和高频分量上分别叠加了不同的随机相位,避免了高频信息的过度扩散,将全息重建结果的PSNR值提高了10%以上。Nagahama等人提出了零随机相位法[77]。该方法基于球面波计算获得了全息面的复振幅分布,计算过程无需使用随机相位,可以在较低的运算量下抑制全息重建结果中的散斑噪声。Mengu和Cruz等人提出了结构相位法,通过使用结构化初始相位替代随机初始相位的方式,降低了全息重建结果中的散斑噪声,为全息图的高质量快速生成提供了一套具有操作性的解决方案[78-79]。He等人提出了基于物体频率的最优随机相位法[80]。该方法将物体分割为若干个频带,通过遍历搜索的方式确定不同频带的随机相位特征,使全息重建结果获得了更好的细节表现能力和更低的散斑对比度。但是,考虑到不同目标物体的表面散射特性差异较大,针对某些目标,上述优化方法对全息重建质量的提升效果并不显著。

      除了直接优化随机相位分布的方式外,通过迭代计算改变全息面的信息分布,也是提高全息重建质量的一种重要手段。针对相位型全息图而言,Gerchberg-Saxton(G-S)算法是最常用的迭代优化方法[81]。该方法最初被用于提升傅里叶全息图的重建质量。但是,傅里叶全息图是一种远场全息图,难以用来重建三维场景。为此,Chen等人设计了基于菲涅尔变换的改进型G-S算法[82-84],实现了三维场景的高质量全息重建。不过,由于菲涅尔变换的物面采样间隔与重建距离相关,因此算法设计过程中需要根据重建距离调整不同深度平面的采样参数。当目标三维场景的深度范围较大时,该方法的算法复杂度较高。迭代优化算法获得的全息图通常为局部优化结果,其全息重建质量往往会受到目标物体强度分布、显示系统性能参数以及迭代初始条件等因素的影响。同时,迭代优化算法针对每一个目标物体均需要进行多次正、逆向波前传播计算,计算时间较长,难以应用于高实时性的三维显示系统中。

      近年来,深度学习技术与计算全息技术的交叉结合,使得高质量全息图的快速计算成为可能[85-89]。如图8所示,Wu等人提出了一种基于自编码深度学习网络的计算全息算法,可以在0.15 s内生成重建信噪比高达23.2 dB的计算全息图,大幅提升了高质量、低噪声全息图的生成效率[90]。上述随机相位优化法、迭代法和深度学习方法的特点比较如表1所示。深度学习算法拥有低噪声和高效率的双重优点,在全息三维显示领域具有广阔的应用前景。

      图  8  基于自编码深度学习网络的计算全息图生成算法[90]

      Figure 8.  Computer-generated holographic algorithm based on auto-encoder deep learning network[90]

      表 1  全息图优化方法的性能对比

      Table 1.  Comparison of optimization methods for holographic

      SpeedQualityTraining timeGeneralization
      Random-phase-based methodsMediumMediumNAMedium
      Iteration-based methodsSlowHighNAHigh
      Learning-based methodsFastHighLongHigh
    • 全息图计算完成后,需要加载至SLM表面,在相干光照明下完成光学重建。通常,全息图的光学重建质量会受到光学元件制造精度和装配精度的影响。在全息光学系统中,透镜及其他折反射元件可能存在制造缺陷。这些缺陷会改变照明光波和重建光波的波前分布,进而影响全息图的光学重建效果。同时,光学元件的装配可能存在误差;长期使用过程中受到震动等因素的影响,光学元件可能偏离最初设计位置。这些误差会导致全息重建结果的波前分布偏离预设值,进而影响全息图的光学重建效果。光学元件的制造缺陷和装调误差可以通过更换元件、重新装配的方式消除,但这种校正方式步骤繁琐、工作量较大,难以应用在集成度较高的系统中。通过校正算法消除光学系统中的误差,可以避免光学元件的重新安装与调整,比较适合用在集成后的全息显示系统中。Yao和Anderson等人提出了基于波前补偿的系统误差消除方法,降低了光学元件制造缺陷和装调误差对波前分布的影响,提升了全息显示系统的光学重建质量[91-92]。上述方法需要使用Shack-Hartmann传感器以及变形镜等专门元器件,提升了系统的复杂度和构建成本。

      考虑到计算全息三维显示本质上是一种波前调控技术,因此在全息图上叠加与系统误差相反的信号分布,也可以实现波前畸变的消除,进而提升全息图的光学重建质量[93-95]。Kaczorowski和Haist等人提出的波前畸变校正方法通过普通相机捕捉系统误差、通过在全息图上叠加相反信号校正系统误差,最终提升了全息图的光学重建质量[96-98]。这些方法无需采用专门元器件,凭借较低的系统复杂度和构建成本即可实现全息波前畸变的校正。不过,当前主流的校正方法通常需要使用泽尼克系数描述波前畸变的分布,对系统的计算能力要求较高。He等人提出了一种基于四步相移法和角谱传播模型的全息波前畸变校正方法[99]。该方法无需使用专门元器件,也无需计算泽尼克系数,降低了波前畸变校正系统的计算量和硬件复杂度。不过,受限于四步相移法的处理速度,该方法只能实现波前畸变的预先标定与校正,无法完成波前畸变的在线消除。上述各类畸变校正方法的特点比较如表2所示。综合考虑软硬件成本,基于通用元器件且计算量较低的校正方法是该领域的重要追求。

      表 2  全息畸变校正方法的特点对比

      Table 2.  Comparison of distortion calibration methods in holography

      Hardware complexitySoftware complexity
      Wavefront-compensation methods [91-92]HighHigh
      Conventional superposition methods[96-98]LowHigh
      Phase-shifting-based superposition methods [99]LowLow
    • 元宇宙的底层需求之一是三维虚拟世界的构建与展示。建立虚拟世界的几何模型,并且在终端设备上予以显示,给用户实时真实地展现各种数字场景和数字内容,才能制造出沉浸式的用户体验。三维显示为虚拟世界的展示提供了重要的解决思路,但是当前仍面临着三维内容严重不足的重大难题[100]。对于计算全息三维显示而言,三维内容不足的情况更为严重。当前的三维视频内容通常会根据双目视觉原理进行渲染,但这些渲染结果无法直接应用于计算全息三维显示中。因此,获取适用于计算全息的三维内容,是目前全息三维显示需要面对的重大课题。

      点云模型[101-102]、分层模型[103-104]以及多边形模型[105-106]均可以用在已有的计算全息算法中。获取上述三维模型的常用方法有建模法和拍摄法两类。建模法通过计算机绘制并渲染目标三维模型,具有清晰度高、深度信息准确等优点,但是渲染过程对计算机硬件要求较高,存在渲染时间长、计算量大等问题。拍摄法利用三维采集设备获取真实场景的深度信息,并根据需求将采集结果渲染成为不同种类的三维模型。常见的三维采集设备包括相机阵列[107]、时间飞行(TOF)相机[108]、透镜阵列相机[109]以及结构光相机[110]等。相机阵列分辨率高、深度范围大且深度信息准确,但渲染绘制过程对计算机硬件依赖程度较高,渲染速度较慢。TOF相机成像速度快、深度范围大,但存在图像分辨率较低的不足。透镜阵列相机在拍摄距离较短时深度信息准确,但有效分辨率较为有限,并且深度信息的准确性会随着拍摄距离的增加而快速下降[111-112]。结构光相机分辨率高、深度信息准确,但需要拍摄多幅条纹图像以求解三维场景的深度信息,存在处理速度较慢的不足。实际应用中,针对不同的拍摄场景,采用的三维采集设备也需要进行适当调整。

      建模法和拍摄法面临的困难主要集中在两个方面:首先,难以兼容已有的二维拍摄系统和图像处理方法,系统构建成本高,数据处理难度大;其次,三维内容需要重新创作,无法利用二维内容进行转化,短时间内难以解决三维内容匮乏的问题。二维转三维(2D-to-3D)技术为三维内容的制作提供了新的解决思路。2D-to-3D技术是一种利用二维图像的特征信息计算生成三维内容的技术。Tsai和Cheng等人[113-114]利用图像的边缘信息,实现了深度线索的提取。Lai等人利用图像的纹理信息,确定了二维图像中不同物体的位置关系,实现了基于二维图像的三维显示[115]。Zhang等人利用图像的颜色信息,实现了深度线索的提取,完成了三维模型的实时显示[116]。Gil等人利用视频图像的运动特征,实现了三维视频的实时渲染[117]。利用单一特征的2D-to-3D技术通常只能实现某些特定图像的深度线索提取,适用范围较为有限。He等人提出了一种基于混合特征的2D-to-3D技术,并将其直接应用于全息算法中,获得了良好的全息三维重建效果[118],如图9所示。近年来,随着人工智能技术的发展,深度学习网络也被用来提取二维图像中的深度线索[119-121]。人工智能算法需要使用先验信息进行训练,才能实现二维图像的三维转化,因此对三维数据源有较大依赖性。上述三维内容源生成方法的特点比较如表3所示。考虑到不同应用场景对三维内容源的具体要求存在差异,因此针对不同的应用场景需要采用不同的方法获取三维内容源。

      图  9  2D-to-3D技术生成3D模型的全息重建结果[112]

      Figure 9.  Holographic reconstructions of 3D models generated by 2D-to-3D rendering method [112]

      表 3  三维内容源生成方法的特点对比

      Table 3.  Comparison of generation methods of 3D content

      ResolutionDepth rangeProcessing timeCompatibility
      Hardware-based methodsCamera arrayHighLargeLongMedium
      TOF cameraLowLargeShortLow
      Lens-array cameraMediumMediumMediumLow
      Structured illumination cameraHighMediumLongLow
      Software-based methods3D modeling methodsHighLargeLongLow
      2D-to-3D methodsHighLargeMediumHigh
    • 文中阐述了三维显示的应用价值,介绍了三维显示质量的重要评价指标——深度线索,并从深度线索的角度比较了常见三维显示技术的优缺点,介绍了计算全息三维显示的潜在价值和重要意义。文中按照时间顺序综述了计算全息三维显示技术的发展历程,介绍了计算全息技术的发展路线,包括高精度、高速度的全息图计算方法和高分辨率、高带宽的全息显示系统。在当前的技术条件下,动态全息三维显示面临的主要挑战包括:第一,计算全息算法需要使用随机相位模拟真实物体表面散射特性,但随机相位往往会降低全息图的重建质量。随机相位优化法和迭代优化法均可以用来优化全息面的信息分布,进而提升全息图的重建质量,但二者均存在不足之处。其次,计算全息图需要借助重建光路实现光学全息重建。光学元件的制造和装配精度制约了全息显示的重建质量。当前的校正方法对系统的计算能力要求较高,尚不足以满足计算全息显示的实时在线校正。再次,三维内容严重不足,制约了计算全息三维显示的广泛应用。建模法和拍摄法难以与传统图像处理技术兼容,无法利用已有的二维图像内容。2D-to-3D技术克服了以上不足,但适用范围受限。动态全息三维显示未来的主要改进方向应包括以下几个方面:设计低噪声的全息图生成方法,实现高质量、低噪声的全息重建;开发高精度波前畸变校正技术,实现高复现、无畸变的全息显示;开发适用性更广的三维内容制作方法,实现全息三维内容库的扩展。随着器件、算法和系统的不断发展与突破,动态全息显示作为真三维显示技术,将为元宇宙平台的发展与完善提供有力的支撑。

参考文献 (121)

目录

    /

    返回文章
    返回