留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

远场光斑反演波前相位的深度学习方法

张阳 何宇龙 宁禹 孙全 李俊 许晓军

张阳, 何宇龙, 宁禹, 孙全, 李俊, 许晓军. 远场光斑反演波前相位的深度学习方法[J]. 红外与激光工程, 2021, 50(8): 20200363. doi: 10.3788/IRLA20200363
引用本文: 张阳, 何宇龙, 宁禹, 孙全, 李俊, 许晓军. 远场光斑反演波前相位的深度学习方法[J]. 红外与激光工程, 2021, 50(8): 20200363. doi: 10.3788/IRLA20200363
Zhang Yang, He Yulong, Ning Yu, Sun Quan, Li Jun, Xu Xiaojun. Method of inverting wavefront phase from far-field spot based on deep learning[J]. Infrared and Laser Engineering, 2021, 50(8): 20200363. doi: 10.3788/IRLA20200363
Citation: Zhang Yang, He Yulong, Ning Yu, Sun Quan, Li Jun, Xu Xiaojun. Method of inverting wavefront phase from far-field spot based on deep learning[J]. Infrared and Laser Engineering, 2021, 50(8): 20200363. doi: 10.3788/IRLA20200363

远场光斑反演波前相位的深度学习方法

doi: 10.3788/IRLA20200363
详细信息
    作者简介:

    张阳,男,硕士生,主要从事自适应光学光束控制方面的研究

    宁禹,女,副研究员,博士,主要从事高能激光光束控制方面的研究

  • 中图分类号: O439

Method of inverting wavefront phase from far-field spot based on deep learning

  • 摘要: 自适应光学系统中,波前传感器的准确性和鲁棒性极大地影响像差探测能力和闭环校正效果。在波前振幅分布不均匀或信标光能量不足的情况下,哈特曼波前传感器由于存在子孔径缺光现象会导致传感精度下降,而基于远场光斑反演波前相位的无波前传感自适应系统实时性难以满足实用需求。基于深度学习复原波前的方法是通过输入远场光强图像直接求取像差,可以作为自适应光学系统的有效补充。文中通过数值模拟,证明了深度残差神经网络能够通过远场光斑直接预测波前相位的Zernike系数。实验验证了输入与重构波前相位之间校正后残差RMS为0.08λ,GPU加速后的平均计算耗时小于2 ms。该方法能较准确地预测入射波前畸变的Zernike系数,具有一定像差校正能力,适合在传统自适应光学技术中,用于测量并校正波前畸变的主要成分,或为优化式自适应光学提供良好的初始波前估计。
  • 图  1  不同激光束在夏克哈特曼波前传感器的子孔径光斑分布。(a) ${\rm{N}}{{\rm{d}}^{{\rm{3 + }}}}{\rm{:YAG}}$板条激光器光束净化;(b) DF化学激光器光束净化

    Figure  1.  Distribution of sub-aperture spot of different laser beams on the target of Shack-Hartmann-wavefront sensor. (a) ${\rm{N}}{{\rm{d}}^{{\rm{3 + }}}}{\rm{:YAG}}$ slab laser beam cleanup; (b) DF chemical laser beam cleanup

    图  2  ResNet-50神经网络结构预测泽尼克系数。(a)网络结构示意图;(b)残差块的示意图

    Figure  2.  ResNet-50 architecture to estimate Zernike coefficients. (a) Composition of the network; (b) Structure of residual block

    图  3  利用深度学习方法通过光强分布预测波前相位示意图

    Figure  3.  Schematic diagram of intensity distribution-based wavefront phase sensing with deep learning

    图  4  模拟数据波前像差及校正结果。(a)输入波前;(b)重构波前;(c)校正后波前残差;(d)输入的光强分布图像;(e)重构的光强分布图像;(f)真实的Zernike系数和预测的Zernike系数对比图

    Figure  4.  Wavefront aberration and correction result of a simulation data. (a) Input wavefront; (b) Reconstructed wavefront; (c) Residual wavefront after correction; (d) Intensity distribution of input; (e) Intensity distribution of reconstructed; (f) Comparison of actual Zernike coefficients and predict Zernike coefficients

    图  5  湍流相位屏及对应哈特曼探测器子孔径光斑分布图像

    Figure  5.  Turbulence phase screen and corresponding Hartmann detector sub-aperture spot distribution

    图  6  实验中使用的光学系统的结构。HSWFS和两个CCD记录Zernike系数和相应的远场图像

    Figure  6.  Structure of the optical system used in the experiment. Zernike coefficients and the corresponding far-field images are recorded by HSWFS and two CCDs

    图  7  实验数据波前像差及校正结果。 (a)输入波前;(b)重构波前;(c)校正后波前残差;(d)输入的光强分布图像;(e)重构的光强分布图像;(f)真实的Zernike系数和预测的Zernike系数对比图

    Figure  7.  Wavefront aberration and correction result of a experiment data. (a) Input wavefront; (b) Reconstructed wavefront; (c) Residual wavefront; (d) Intensity distribution of input; (e) Intensity distribution of reconstructed; (f) Comparison of actual Zernike coefficients and predict Zernike coefficients

    图  8  1000组验证数据的RMS分布

    Figure  8.  RMS of 1000 groups of verification data

    图  9  每一项泽尼克的RMS (不包含活塞项和倾斜项)

    Figure  9.  RMS of the Zernike coefficient (the piston and tilt terms excepted)

    表  1  模拟数据训练结果

    Table  1.   Training result of the simulation data

    ZernikeRMS (input)RMS (residual)Mean predict time/msTraining time/min
    15 0.1425λ 0.0243λ 1.53 190
    21 0.2010λ 0.0353λ 1.51 191
    28 0.2523λ 0.0320λ 1.50 190
    36 0.3093λ 0.0599λ 1.52 191
    45 0.3569λ 0.0808λ 1.52 192
    55 0.3976λ 0.0906λ 1.50 191
    66 0.4194λ 0.1075λ 1.51 191
    *Intel i7-8700 CPU, NVIDIA GTX-2080 GPU
    下载: 导出CSV

    表  2  加入不同噪声训练结果

    Table  2.   Training results with different noise

    ItemRMS (input)RMS (residual)
    Original image 0.1425λ 0.0243λ
    Gaussian noise 0.1425λ 0.0367λ
    Poisson noise 0.1425λ 0.0329λ
    下载: 导出CSV

    表  3  不同像差大小训练结果

    Table  3.   Training results with different aberration

    No.RMS (input)RMS (residual)
    1 0.1719λ 0.0292λ
    2 0.3398λ 0.0542λ
    3 0.5076λ 0.0711λ
    4 0.6847λ 0.0828λ
    下载: 导出CSV

    表  4  不同弱光区域训练结果

    Table  4.   Training results with different low-light areas

    Fig.5RMS (input)RMS (residual)
    (a)0.1498λ0.0400λ
    (b)0.1498λ0.0376λ
    (c)0.1498λ0.0339λ
    下载: 导出CSV

    表  5  实验数据训练结果

    Table  5.   Training result of the experimental data

    ZernikeRMS (input)RMS (residual)Mean predict time/msTraining time/min
    150.52λ0.08λ1.67201
    下载: 导出CSV
  • [1] Jiang Wenhan. Progresses on adaptive optics techniques--a review of SPIE's 1991 international symposium on optical applied science and engineering [J]. Opto-Electronic Engineering, 1992, 19(4): 50-60. (in Chinese)
    [2] Zhao Feifei, Huang Wei, Xu Weicai, et al. Optimization method for the centroid sensing of Shack-Hartmann wavefront sensor [J]. Infrared and Laser Engineering, 2014, 43(9): 3005-3009. (in Chinese) doi:  10.3969/j.issn.1007-2276.2014.09.038
    [3] Barchers J D, Fried D L, Link D J. Evaluation of the performance of Hartmann sensors in strong scintillation [J]. Appl Opt, 2002, 41(6): 1012-1021. doi:  10.1364/AO.41.001012
    [4] Wei Ping, Li Xinyang, Luo Xi, et al. Influence of lack of light in partial subapertures on wavefront reconstruction for Shack-Hartmann wavefront sensor [J]. Chinese Journal of Lasers, 2020, 47(4): 0409002. (in Chinese) doi:  10.3788/CJL202047.0409002
    [5] Gonsalves R A. Phase retrieval and diversity in adaptive optics [J]. Opt Eng, 1982, 21(5): 829-832. doi:  10.1117/12.7972989
    [6] Gonsalves R A, Chidlaw R. Wavefront sensing by phase retrieval[C]//Proc SPIE, Applications of Digital Image Processing III, 1979, 0207: 32-39.
    [7] Paxman R G, Schulz T J, Fienup J R. Joint estimation of object and aberrations by using phase diversity [J]. Journal of the Optical Society of America A, 1992, 9(7): 1072-1085. doi:  10.1364/JOSAA.9.001072
    [8] Yang Huizhen, Liu Rong, Liu Qiang. Model wavefront-sensorless adaptive optics system based on eigenmodes of deformable mirror [J]. Infrared and Laser Engineering, 2015, 44(12): 3639-3644. (in Chinese) doi:  10.3969/j.issn.1007-2276.2015.12.023
    [9] Sandler D G, Barrett T K, Palmer D A, et al. Use of a neural network to control an adaptive optics system for an astronomical telescope [J]. Nature, 1991, 351: 300-302. doi:  10.1038/351300a0
    [10] Barrett T K, Sandler D G. Artificial neural network for the determination of Hubble Space Telescope aberration from stellar images [J]. Appl Opt, 1993, 32(10): 1720-1727. doi:  10.1364/AO.32.001720
    [11] Nguyen T, Bui V, Lam V, et al. Automatic phase aberration compensation for digital holographic microscopy based on deep learning background detection [J]. Opt Express, 2017, 25(13): 15043-15057. doi:  10.1364/OE.25.015043
    [12] Xin Q, Ju G, Zhang C, et al. Object-independent image-based wavefront sensing approach using phase diversity images and deep learning [J]. Opt Express, 2019, 27(18): 26102-26119. doi:  10.1364/OE.27.026102
    [13] DuBose T B, Gardner D F, Watnik A T. Intensity-enhanced deep network wavefront reconstruction in Shack–Hartmann sensors [J]. Optics Letters, 2020, 45(7): 1699-1702. doi:  10.1364/OL.389895
    [14] Tian Qinghua, Lu Chenda, Liu Bo, et al. DNN-based aberration correction in a wavefront sensorless adaptive optics system [J]. Optics Express, 2019, 27(8): 10765-10776. doi:  10.1364/OE.27.010765
    [15] Yang Nan, Nan Lin, Zhang Dingyi, et al. Research on image interpretation based on deep learning [J]. Infrared and Laser Engineering, 2018, 47(2): 203002. (in Chinese) doi:  10.3788/IRLA201847.0203002
    [16] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks [J]. Communications of the ACM, 2017, 60(6): 84-90. doi:  10.1145/3065386
    [17] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.
    [18] Chen Tianqi, Li Mu, Li Yutian, et al. MXNet: A flexible and efficient machine learning library for heterogeneous distributed systems [J]. arXiv e-prints, 2015: 1512.01274.
    [19] Yang Guanci, Yang Jing, Li Shaobo, et al. Modified CNN algorithm based on dropout and ADAM optimizer [J]. Journal of Huazhong University of Science and Technology(Nature Science Edition), 2018, 46(7): 122-127. (in Chinese) doi:  10.13245/j.hust.180723
    [20] Fang Zhiying, Guo Zhengchu, Zhou Dingxuan. Optimal learning rates for distribution regression [J]. Journal of Complexity, 2020, 56: 101426. doi:  10.1016/j.jco.2019.101426
    [21] Voelz D G, Roggemann M C. Digital simulation of scalar optical diffraction: Revisiting chirp function sampling criteria and consequences [J]. Appl Opt, 2009, 48(32): 6132-6142. doi:  10.1364/AO.48.006132
    [22] Delen N, Hooker B. Free-space beam propagation between arbitrarily oriented planes based on full diffraction theory: A fast Fourier transform approach [J]. Journal of the Optical Society of America A, 1998, 15(4): 857-867. doi:  10.1364/JOSAA.15.000857
  • [1] 王佳琦, 付时尧, 李浪, 郭盈池, 李晨, 高春清.  采用深度学习校正畸变涡旋光束的方法综述(特邀) . 红外与激光工程, 2022, 51(7): 20220221-1-20220221-11. doi: 10.3788/IRLA20220221
    [2] 赵辉, 吕典楷, 安静, 邝凯达, 余孟洁, 张天骐.  空间光波前畸变校正中的元启发式SPGD算法 . 红外与激光工程, 2022, 51(7): 20210759-1-20210759-11. doi: 10.3788/IRLA20210759
    [3] 赵辉, 邝凯达, 吕典楷, 余孟洁, 安静, 张天骐.  空间光波前畸变校正中SPGD方法的自适应优化 . 红外与激光工程, 2022, 51(8): 20210697-1-20210697-8. doi: 10.3788/IRLA20210697
    [4] 詹海潮, 王乐, 彭秦, 王文鼐, 赵生妹.  涡旋光束的自适应光学波前校正技术研究进展(特邀) . 红外与激光工程, 2021, 50(9): 20210428-1-20210428-10. doi: 10.3788/IRLA20210428
    [5] 方舟, 徐项项, 李鑫, 刘金龙, 杨慧珍, 龚成龙.  自适应增益的SPGD算法 . 红外与激光工程, 2020, 49(10): 20200274-1-20200274-7. doi: 10.3788/IRLA20200274
    [6] 范文强, 王志臣, 陈宝刚, 陈涛, 安其昌.  自适应光学相干层析在视网膜高分辨成像中的应用 . 红外与激光工程, 2020, 49(10): 20200333-1-20200333-13. doi: 10.3788/IRLA20200333
    [7] 贾启旺, 李新阳, 罗曦.  自适应光学系统运行失稳检测方法 . 红外与激光工程, 2020, 49(10): 20200299-1-20200299-10. doi: 10.3788/IRLA20200299
    [8] 高泽宇, 李新阳, 叶红卫.  流场测速中基于深度卷积神经网络的光学畸变校正技术 . 红外与激光工程, 2020, 49(10): 20200267-1-20200267-10. doi: 10.3788/IRLA20200267
    [9] 郭世平, 杨宁, 张子腾, 胡苏海, 张荣之.  基于波前相位单纯形样条函数建模的空间目标波前解卷积方法 . 红外与激光工程, 2019, 48(1): 117004-0117004(5). doi: 10.3788/IRLA201948.0117004
    [10] 牛威, 郭世平, 史江林, 邹建华, 张荣之.  自适应光学成像事后处理LoG域匹配图像质量评价 . 红外与激光工程, 2018, 47(11): 1111005-1111005(9). doi: 10.3788/IRLA201847.1111005
    [11] 罗瑞耀, 王红岩, 宁禹, 丁枫, 万国新, 许晓军.  基于阵列激光导星的自适应光学波前探测数值仿真 . 红外与激光工程, 2018, 47(11): 1111003-1111003(9). doi: 10.3788/IRLA201847.1111003
    [12] 高春清, 张世坤, 付时尧, 胡新奇.  涡旋光束的自适应光学波前校正技术 . 红外与激光工程, 2017, 46(2): 201001-0201001(6). doi: 10.3788/IRLA201746.0201001
    [13] 陈波, 杨靖, 李新阳, 杨旭, 李小阳.  相干光照明主动成像波前畸变的数字式快速校正 . 红外与激光工程, 2016, 45(7): 732001-0732001(5). doi: 10.3788/IRLA201645.0732001
    [14] 闫伟, 陈志华, 杜太焦, 关奇.  基于相关波前探测算法校正热晕的数值模拟 . 红外与激光工程, 2016, 45(10): 1032001-1032001(5). doi: 10.3788/IRLA201645.1032001
    [15] 杨萍, 宋宏, 楼利旋, 刘腾君, 张嘉恒, 王杭州, 詹舒越, 黄慧, 穆全全, 杨文静.  盐水和沙子上方传输激光束波前畸变校正的对比研究 . 红外与激光工程, 2016, 45(4): 432001-0432001(7). doi: 10.3788/IRLA201645.0432001
    [16] 罗奇, 李新阳.  自适应光学系统光轴抖动抑制控制器设计 . 红外与激光工程, 2016, 45(4): 432003-0432003(6). doi: 10.3788/IRLA201645.0432003
    [17] 曹召良, 穆全全, 徐焕宇, 张佩光, 姚丽双, 宣丽.  开环液晶自适应光学系统:研究进展和结果 . 红外与激光工程, 2016, 45(4): 402002-0402002(8). doi: 10.3788/IRLA201645.0402002
    [18] 毛珩, Tao Louis, 陈良怡.  自适应光学技术在深层动态荧光显微成像中的应用和发展 . 红外与激光工程, 2016, 45(6): 602001-0602001(7). doi: 10.3788/IRLA201645.0602001
    [19] 杨慧珍, 刘荣, 刘强.  基于变形镜本征模的模型式无波前探测自适应光学系统 . 红外与激光工程, 2015, 44(12): 3639-3644.
    [20] 韩立强, 王志斌.  自适应光学校正下空间光通信的光纤耦合效率及斯特列尔比 . 红外与激光工程, 2013, 42(1): 125-129.
  • 加载中
图(9) / 表(5)
计量
  • 文章访问数:  674
  • HTML全文浏览量:  238
  • PDF下载量:  61
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-09-20
  • 修回日期:  2020-10-22
  • 刊出日期:  2021-08-25

远场光斑反演波前相位的深度学习方法

doi: 10.3788/IRLA20200363
    作者简介:

    张阳,男,硕士生,主要从事自适应光学光束控制方面的研究

    宁禹,女,副研究员,博士,主要从事高能激光光束控制方面的研究

  • 中图分类号: O439

摘要: 自适应光学系统中,波前传感器的准确性和鲁棒性极大地影响像差探测能力和闭环校正效果。在波前振幅分布不均匀或信标光能量不足的情况下,哈特曼波前传感器由于存在子孔径缺光现象会导致传感精度下降,而基于远场光斑反演波前相位的无波前传感自适应系统实时性难以满足实用需求。基于深度学习复原波前的方法是通过输入远场光强图像直接求取像差,可以作为自适应光学系统的有效补充。文中通过数值模拟,证明了深度残差神经网络能够通过远场光斑直接预测波前相位的Zernike系数。实验验证了输入与重构波前相位之间校正后残差RMS为0.08λ,GPU加速后的平均计算耗时小于2 ms。该方法能较准确地预测入射波前畸变的Zernike系数,具有一定像差校正能力,适合在传统自适应光学技术中,用于测量并校正波前畸变的主要成分,或为优化式自适应光学提供良好的初始波前估计。

English Abstract

    • 自适应光学系统能够动态检测入射波前相位变化、通过实时补偿像差并将输出波面转变为平面波,使光学系统具有自动使用环境变化、克服动态扰动的能力,能够得到接近衍射极限的目标像或使激光发射系统有效地将光束聚焦在目标上[1],极大地提高了光学系统性能。

      自适应光学系统能够对不断变化的波前畸变进行校正,必须对波前畸变实现精准和实时的探测。波前传感器用来测量系统中入射光束波前误差情况,系统的畸变校正能力与波前传感器的响应速度和测量精度密切相关。哈特曼波前传感器由于测量精度高、使用方法简单等优势,是目前应用最广泛的波前传感器之一[2]。但在实际应用中,哈特曼波前传感器的测量精度受到多种因素影响,例如接收的信标光较微弱、光强度分布不均匀或受到大气湍流等传输过程中的随机干扰影响。在这些情况下,某些子孔径接收的光能量微弱[3],低于探测器能够有效提取信号的能量阈值,直接影响到波前传感器的测量精度,导致较大的波前测量误差,影响自适应光学系统的闭环校正能力。图1所示为实际应用中,不同激光束在哈特曼波前传感器子孔径光斑分布情况。在这些系统中,虽然引起波前畸变的物理机制各不相同,但都遇到波前传感器探测信号不理想的问题,即子孔径存在较低的信噪比或缺光现象。常用的解决方法是对缺光子孔径斜率置零或在进行波前复原过程中将这部分子孔径去除,但这些方法都会增加波前复原误差[4]

      图  1  不同激光束在夏克哈特曼波前传感器的子孔径光斑分布。(a) ${\rm{N}}{{\rm{d}}^{{\rm{3 + }}}}{\rm{:YAG}}$板条激光器光束净化;(b) DF化学激光器光束净化

      Figure 1.  Distribution of sub-aperture spot of different laser beams on the target of Shack-Hartmann-wavefront sensor. (a) ${\rm{N}}{{\rm{d}}^{{\rm{3 + }}}}{\rm{:YAG}}$ slab laser beam cleanup; (b) DF chemical laser beam cleanup

      另一方面,无波前探测自适应光学系统能够基于远场光强分布情况,是通过优化算法迭代校正波前像差[5-7]。无波前探测自适应光学系统不需要波前像差测量和相位重构,对入射波前的振幅非均匀分布并不敏感,但由于收敛速度较慢,不适合用于实时性要求较高的系统[8]

      20世纪90年代,D.S.等用人利用同时拍照的焦点位置和离焦位置的图像,可以通过简单的神经网络模型训练,快速重构光斑的像散、离焦和彗差。Hubble天文望远镜使用三层神经网络作为训练模型,分别输入一张离焦图像和一张焦点处图像,输出预测波前的Zernike系数,实验效果与相位迭代算法几乎相同,但对高阶像差的复原具有一定的困难性[9-10]。近年来,深度学习算法和应用得到飞速发展,国内外相关研究者也将深度学习在自适应光学领域的应用进行了研究。Nguyen等使用深度学习实现数字全息显微镜的像差补偿,可以避免忽略主成分分析方法自动像差补偿时对部分高阶像差的校正[11]。Xin等使用递归神经网络的波前传感方法,该方法可以实现扩展目标像差估计[12]。Theodore等分别使用哈特曼波前传感器子孔径x方向、y方向质心偏移量和曝光后的子孔径聚焦图像作为U型网络的输入,用以预测波前相位[13]。Tian等人使用5层卷积神经网络进行仿真实验,用光强图像直接反演波前,有效提高了无波前探测自适应光学搜索时间,能够在自由空间光学通信中得到应用[14]

      文中主要用于验证深度学习波前传感方法的有效性,首先通过模拟实验和实验验证说明该方法具有静态畸变的校正能力,并通过模拟仿真探索了深度学习在非理想条件下的波前复原能力。具体来说,是通过线下使用远场图像和对应波前信息作为样本数据,通过训练拟合远场图像与波前相位之间的非线性关系,最终实现线上输入新的远场光斑,经过训练好的模型计算波前相位。此方法具有算法简单,计算速度快的特点,能够作为哈特曼波前传感器在测量不准确条件下的有效补充,或为无波前探测的自适应光学系统提供初值。

    • 在均匀照明的情况下,远场光强和波前畸变的关系可以表示为:

      $$I(\theta ) \propto |\int {w(r)\exp [i\phi (r)]\exp \left(\frac{{2\pi i}}{\lambda }\theta \cdot r\right){\rm d}r} {|^2}$$ (1)

      式中:$I(\theta )$表示远场光斑图像;$\phi (r)$是自适应光学系统中入射光的波前畸变;$\lambda $是波长;$r$是位置矢量;$w(r)$是光瞳函数。同时,波前畸变$\phi (r)$可以用正交的Zernike多项式表示为:

      $$\phi (x) = \sum\limits_{i = 1}^n {{a_i}{{\textit{z}}_i}(x,y)} $$ (2)

      式中:${{\textit{z}}_i}(x,y)$表示第$i$项Zernike多项式;${a_i}$是第$i$项Zernike多项式系数。由此,从远场光斑图像到波前畸变的Zernike多项式存在非线性映射关系。

      深度学习作为一种模拟人脑神经的典型方法,可以通过神经网络结构建立输入和输出的非线性映射。其中卷积神经网络是一种结构较深的深度学习模型,被广泛应用于图像识别、自然语言处理等领域[15],尤其在大规模图像特征提取任务取得很大的成功,适合图像处理任务。卷积神经网络通过多个卷积层和池化层,可以从输入中提取图像细节特征信息,再通过全连接层建立特征与输出之间的联系。

      卷积运算主要目的是从输入图像中提取特征。卷积层中包含有多个卷积核,网络中输入的图像和卷积核进行卷积运算得到新的图像,新图像上每个卷积核所覆盖的区域中都包含上层图像特征,多层卷积的叠加能够很好地提取图像抽象特征。卷积神经网络的第$l$层卷积可表示为:

      $${x^l} = f({w^l} \cdot {x^{l - 1}} + b)$$ (3)

      式中:${x^{l - 1}}$表示网络第$l - 1$层的图像特征,是第$l$层卷积的输入;${w^l}$表示第$l$层网络的权重系数;$b$为偏置项;$f( \cdot )$为激活函数,主要是为网络提供非线性运算;${x^l}$是第$l$层卷积得到的输出。通过多个卷积层堆叠,最终能够得到输入图像的特征矩阵。

      池化层的主要作用是通过下采样操作减少每层特征的数量,该操作将卷积层得到的特征划分为多个$m \times n$的滤子,并只保留每个滤子中最大值或平均值。第$l$层池化可以表示为:

      $${x^l} = down({x^{l - 1}})$$ (4)

      网络最终经过全连接层,可以将所提取的图像特征与长度为$N$的向量连接。网络的训练通过随机梯度下降算法,使得损失函数达到最小,损失函数表示为所有预测的Zernike项和真实Zernike项误差的平方和:

      $$loss = {\sum\limits_N {({y_{predict}} - {y_{groundtruth}})} ^2}$$ (5)

      网络模型经过训练,能够不断计算每层的梯度值并更新中间层的参数,使网络模型输出的预测值最大程度接近真实值。

      自从AlexNet[16]引入以来,卷积神经网络结构变得越来越深。笔者所在团队选择了Kaiming He[17]的深度残差神经网络(ResNet)。考虑到准确性和前馈时间,选择了ResNet-50模型,其网络深度为50层。该网络模型引入了shortcut机制,网络架构如图2所示,其中图2(a)中虚线所示为shortcut连接,这个机制跳过部分中间层,直接连接两个残差块,可以获得较原始的样本特征。因此网络梯度消失的问题得到了极大的缓解,使模型结构能够变得更深,拟合效果更加精准。图2(b)所示为每个残差块的内部结构示意图,图像的特征提取是由多个残差块完成。

      图  2  ResNet-50神经网络结构预测泽尼克系数。(a)网络结构示意图;(b)残差块的示意图

      Figure 2.  ResNet-50 architecture to estimate Zernike coefficients. (a) Composition of the network; (b) Structure of residual block

      由于远场光强图像中包含了波前畸变信息,利用深度残差神经网络可以建立入射光的光强分布和波前相位之间的映射关系,直接求取相应的Zernike系数。算法流程示意图如图3所示。首先通过产生随机的Zernike多项式对应远场光强分布图像作为训练数据,将远场图像作为卷积神经网络的输入,对应的波前畸变的Zernike系数作为输出,对网络模型进行训练。当新的远场图像输入到经过训练的网络模型中,可以直接输出相应的波前Zernike系数。

      图  3  利用深度学习方法通过光强分布预测波前相位示意图

      Figure 3.  Schematic diagram of intensity distribution-based wavefront phase sensing with deep learning

      在训练的过程中,使用MXNet[18]作为模型训练框架。使用最小批量为32的输入,所有数据训练了40个轮次。损失函数使用的是预测的Zernike系数和真实Zernike系数之间的均方误差。优化器使用Adam[19]进行训练,初始学习率[20]的值为0.01,Adam能够根据模型训练状况自动调整学习率值。为了避免过拟合,网络中使用了dropout[19]和数据归一化层。提取特征后,网络末尾加入全连接层,主要用于在所提取的远场图像特征和对应的Zernike系数之间建立映射。

    • 在数值模拟中,首先随机了产生多组Zernike多项式,多项式长度分别为15,21,28,36,45,55,66 (活塞项置零),并计算相应的相位屏,然后利用菲涅耳衍射积分的角谱传输形式[21-22]产生256 × 256像素的远场图像。每组产生30000个样本对,其中29000个样本数据用于训练,另外1000个样本用于验证。实验生成数据和训练网络所用计算机硬件环境为Intel i7-8700 CPU,NVIDIA GTX 2080 GPU。

      图4所示为一组模拟数据波前像差及校正结果示意图,从图中够看出,通过深度残差神经网络复原的波前与输入波前有很高的相似性,原输入的远场图像与重构的远场图像几乎一致,且校正后波前残差量较小。图4(f)为此数据每一项真实的Zernike系数和预测的Zernike系数对比,两者具有很高的相似性。

      图  4  模拟数据波前像差及校正结果。(a)输入波前;(b)重构波前;(c)校正后波前残差;(d)输入的光强分布图像;(e)重构的光强分布图像;(f)真实的Zernike系数和预测的Zernike系数对比图

      Figure 4.  Wavefront aberration and correction result of a simulation data. (a) Input wavefront; (b) Reconstructed wavefront; (c) Residual wavefront after correction; (d) Intensity distribution of input; (e) Intensity distribution of reconstructed; (f) Comparison of actual Zernike coefficients and predict Zernike coefficients

      经过计算,不同长度Zernike多项式的波前输入RMS、校正后波前残差RMS和计算用时结果如表1所示,其中预测时间为每组数据的网络前馈平均耗时。相比波前输入RMS,所有校正后波前残差RMS明显降低,且预测时间较短。结果表明,经过大量数据训练的深度残差神经网络,对畸变波前具有较好的复原效果。同时,随着Zernike多项式维度的增加,此方法所预测波前的精度有所下降。经过40个轮次的训练,每组训练时间大致相同约为190 min。平均预测的时间约1.5 ms,Zernike多项式长度变化对波前预测时间的影响忽略不计。

      表 1  模拟数据训练结果

      Table 1.  Training result of the simulation data

      ZernikeRMS (input)RMS (residual)Mean predict time/msTraining time/min
      15 0.1425λ 0.0243λ 1.53 190
      21 0.2010λ 0.0353λ 1.51 191
      28 0.2523λ 0.0320λ 1.50 190
      36 0.3093λ 0.0599λ 1.52 191
      45 0.3569λ 0.0808λ 1.52 192
      55 0.3976λ 0.0906λ 1.50 191
      66 0.4194λ 0.1075λ 1.51 191
      *Intel i7-8700 CPU, NVIDIA GTX-2080 GPU
    • 在自适应光学中,噪声是影响系统波前畸变校正的主要因素之一。噪声影响哈特曼波前传感器和光电探测器的测量准确性,进而影响到整个自适应光学系统性能。为了检测噪声对深度学习波前探测的影响,在实验中,使用高斯噪声和泊松噪声模拟噪声对远场光斑图像的影响。具体方法是在Zernike前15项所生成的30000组模拟数据产生的远场图像中加入高斯噪声和泊松噪声,分别训练对比结果。其中高斯噪声的标准差为0.02。

      利用残差网络对含有高斯噪声和泊松噪声的远场图像分别训练,实验结果如表2所示。实验结果表明,网络具有一定的鲁棒性,因此一定程度上能够对波前的Zernike多项式系数进行预测,但会对网络模型的预测精度造成一定的影响。能够猜想,当网络输入的随机噪声越来越占的主导因素时,该方法对像差预测的能力将会变差。

      表 2  加入不同噪声训练结果

      Table 2.  Training results with different noise

      ItemRMS (input)RMS (residual)
      Original image 0.1425λ 0.0243λ
      Gaussian noise 0.1425λ 0.0367λ
      Poisson noise 0.1425λ 0.0329λ
    • 为了验证不同大小像差对探测精度影响,在仿真中通过改变Zernike多项式系数的取值范围,生成了多组不同像差大小所对应的远场光斑图像。其中Zernike取前15项,共产生4组对比数据,每组数据包含30000个样本。模型的校验结果如表3所示,仿真结果表明,不同像差大小的远场图像都可以利用深度学习波前反演。

      表 3  不同像差大小训练结果

      Table 3.  Training results with different aberration

      No.RMS (input)RMS (residual)
      1 0.1719λ 0.0292λ
      2 0.3398λ 0.0542λ
      3 0.5076λ 0.0711λ
      4 0.6847λ 0.0828λ
    • 为了验证自适应系统部分区域缺光对深度学习波前传感探测能力的影响,依据Kolmogorov湍流理论,根据随机的Zernike多项式拟合不同幅值的相位屏产生畸变远场图像。在实验中,共产生3组样本进行比较,分别为(a)组、(b)组、(c)组,每组共产生30000个样本,其中29000个用于训练,1000个样本用于校验缺光情况对预测精度的影响。如图5左侧图像所示为湍流相位屏示意图,右侧图像为同一组Zernike多项式在不同湍流相位屏下的哈特曼波前探测器子孔径的光斑分布图像。

      图  5  湍流相位屏及对应哈特曼探测器子孔径光斑分布图像

      Figure 5.  Turbulence phase screen and corresponding Hartmann detector sub-aperture spot distribution

      利用生成的数据集,分别对(a)组、(b)组、(c)组训练和验证。预测结果如表4所示,从表中可以看出,当光强分布不均匀、哈特曼有部分子孔径能量较弱时,该方法能够通过远场光强分布恢复波前,具有较好的校正效果,具有一定的实用性。

      表 4  不同弱光区域训练结果

      Table 4.  Training results with different low-light areas

      Fig.5RMS (input)RMS (residual)
      (a)0.1498λ0.0400λ
      (b)0.1498λ0.0376λ
      (c)0.1498λ0.0339λ
    • 笔者所在团队构建实验平台,用于验证方法的有效性。工作可以概括为两部分,第一部分是搭建光路,产生数据集,第二部分是数据训练及验证分析。实验的光路结构如图6所示。

      图  6  实验中使用的光学系统的结构。HSWFS和两个CCD记录Zernike系数和相应的远场图像

      Figure 6.  Structure of the optical system used in the experiment. Zernike coefficients and the corresponding far-field images are recorded by HSWFS and two CCDs

      实验使用650 nm半导体激光器经过滤波准直后扩束成平行光,通过分束器(BS1)后,通过液晶空间光调制器(LC-SLM)引入波前像差。光束经BS2进入哈特曼波前传感器进行测量。透射光经过透镜汇聚由CCD探测器测量远场光强。两台CCD探测器主要作用是为了增加相机的动态范围。

      在数据采集的过程中,利用LC-SLM产生不同成分、不同幅值的像差。PV值的设置从0.1$\lambda $~1$\lambda $,平均分为10组,每组采集3000个样本对,总共采集30000个样本。其中每组数据中随机取2900个样本作为训练数据,100个样本作为验证数据,故共29000个样本用作训练,1000个样本用作验证。

      笔者所在团队仍使用Zernike多项式(去除活塞和倾斜项)来表示波前像差。从光学系统收集的数据样本用Resnet-50模型进行训练,其中网络的输入结构从单图像修改为两张图像,以便两个CCD所捕获的光斑信息能够同时提取特征,输出为哈特曼波前传感器采集光波波前的Zernike系数。

      图7所示为一组实验数据波前像差及校正结果示意图,图7(f)为此数据每一项真实的Zernike系数和预测的Zernike系数对比。能够看出,深度残差神经网络有较高的拟合度,能够很大程度校正波前畸变。

      图  7  实验数据波前像差及校正结果。 (a)输入波前;(b)重构波前;(c)校正后波前残差;(d)输入的光强分布图像;(e)重构的光强分布图像;(f)真实的Zernike系数和预测的Zernike系数对比图

      Figure 7.  Wavefront aberration and correction result of a experiment data. (a) Input wavefront; (b) Reconstructed wavefront; (c) Residual wavefront; (d) Intensity distribution of input; (e) Intensity distribution of reconstructed; (f) Comparison of actual Zernike coefficients and predict Zernike coefficients

      模型经过训练,1000组验证数据的实验结果如表5所示,经计算1000组验证数据输入RMS的平均值为0.52$\lambda $,残差RMS的平均值为0.08$\lambda $。在GPU加速下,训练时间为201 min,验证集的平均预测时间为1.67 ms,其中包含了图像读取和波前预测的时间。

      表 5  实验数据训练结果

      Table 5.  Training result of the experimental data

      ZernikeRMS (input)RMS (residual)Mean predict time/msTraining time/min
      150.52λ0.08λ1.67201

      为了验证深度学习反演波前的方法是否能够对畸变波前进行闭环校正,对畸变波前RMS分布和校正后残差波前RMS进行了对比,对比结果如图8所示。图中横轴表示波长的倍数,纵轴表示数量,其中红色部分表示输入波前RMS分布,蓝色部分表示残差波前RMS分布。由于在空间光调制器产生像差的过程中,所加载的光场PV值呈均匀分布,因此畸变波前RMS分布较均匀。经过训练的网络模型,校正后的波前残差分布较为集中,且远小于输入的畸变波前。

      图  8  1000组验证数据的RMS分布

      Figure 8.  RMS of 1000 groups of verification data

      此外,笔者所在团队测试了模型对所选各项Zernike像差的拟合能力。图9显示了1000个验证数据中每项Zernike系数输入波前RMS和校正后残差波前RMS。经过对比,所有估计的Zernike项都能较好地拟合原Zernike项,且每一项都具有几乎相同的估计误差。因此在深度网络模型输出时,不需要对任何一项Zernike系数添加权重。

      图  9  每一项泽尼克的RMS (不包含活塞项和倾斜项)

      Figure 9.  RMS of the Zernike coefficient (the piston and tilt terms excepted)

      另外,在实验中测试了不同像差大小下Zernike系数(nm)的残差。这组实验是将不同PV值大小的验证数据分为三组,像差由小到大得到的平均残差RMS为35.21 nm,58.23 nm和96.34 nm,即分别0.054$\lambda $、0.089$\lambda $、0.148$\lambda $。实验证明,小像差也可以有较高的波前像差预测精度。因此使用深度学习可以拟合多种像差、有效减小波前畸变量。这一特征可以有效运用于自适应光学系统中,深度学习反演波前的方法可以通过远场光强分布计算对应波前信息。在像差校正的过程中,波前畸变量不断减小,而此方法也能够较好地计算小像差的波前信息,适用于自适应光学闭环校正系统。

    • 通过模拟实验,验证了通过深度残差神经网络,直接使用远场光强分布计算光的波前相位是有效的,并分别模拟了噪声、不同像差大小及部分区域缺光对测量精度的影响,证明了该方法具有较好的鲁棒性。经训练后的网络模型,可以在较短时间内估计光波波前。在实验验证中,分别使用CCD采集的远场图像和哈特曼波前传感器的波前测量值作为网络模型的输入和输出。经验证数据测试,输入波前RMS为0.52$\lambda $,残差波前RMS为0.08$\lambda $。通过实验测试了卷积神经网络对所有Zernike系数的估计能力,每项Zernike系数的估计误差几乎相等,并且该方法能够对小像差波前进行校正。

      通过深度学习得到的波前相位可以直接作为入射光波前的测量值,或作为迭代算法的初始估计。此方法可以认为是一种基于远场图像的波前传感器,它能够解决非理想情况下波前传感器的错误测量问题,通过测量光斑远场就能根据经验得到波前相位的估计值,也能够为无波前自适应光学系统提供初始波前信息,减少系统的迭代时间,有助于快速求取相位信息。由于从光强度分布中提取特征的方法的灵活性和鲁棒性,可以在更广泛的场景中使用。

参考文献 (22)

目录

    /

    返回文章
    返回