留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

数字全息显微中自动调焦技术及其应用 (封面文章) (特邀)

王宇 温凯 张美玲 马英 刘旻 郑娟娟 郜鹏

王宇, 温凯, 张美玲, 马英, 刘旻, 郑娟娟, 郜鹏. 数字全息显微中自动调焦技术及其应用 (封面文章) (特邀)[J]. 红外与激光工程, 2021, 50(2): 20200530. doi: 10.3788/IRLA20200530
引用本文: 王宇, 温凯, 张美玲, 马英, 刘旻, 郑娟娟, 郜鹏. 数字全息显微中自动调焦技术及其应用 (封面文章) (特邀)[J]. 红外与激光工程, 2021, 50(2): 20200530. doi: 10.3788/IRLA20200530
Wang Yu, Wen Kai, Zhang Meiling, Ma Ying, Liu Min, Zheng Juanjuan, Gao Peng. Autofocusing techniques in digital holographic microscopy and their applications (Cover paper) (Invited)[J]. Infrared and Laser Engineering, 2021, 50(2): 20200530. doi: 10.3788/IRLA20200530
Citation: Wang Yu, Wen Kai, Zhang Meiling, Ma Ying, Liu Min, Zheng Juanjuan, Gao Peng. Autofocusing techniques in digital holographic microscopy and their applications (Cover paper) (Invited)[J]. Infrared and Laser Engineering, 2021, 50(2): 20200530. doi: 10.3788/IRLA20200530

数字全息显微中自动调焦技术及其应用 (封面文章) (特邀)

doi: 10.3788/IRLA20200530
基金项目: 国家自然科学基金(62075177);陕西省自然科学基金(2020JM-193,2020JQ-324);瞬态光学与光子技术国家重点实验室基金(SKLST201804);江西省图像处理与模式识别国家重点实验室基金(ET202080417)
详细信息
    作者简介:

    王宇(1994−),男,硕士生,主要从事相位显微成像方面的研究。曾获2020年陕西省科技工作者创新创业大赛“三等奖”(排名第5)、西安电子科技大学第十二届“挑战杯”大学生创业计划竞赛“银奖”,西安电子科技大学第六届“校长杯”创新创业大赛“铜奖”

    郜鹏(1983−),男,教授,博士生导师。主要研究方向为:超分辨光学显微、相位显微以及荧光相关光谱技术。迄今在Nature Photonics、Advance of Optics and photonics等学术期刊发表研究论文50余篇、授权发明专利6项。研究工作曾被选为期刊封面、美国光学学会-研究热点、并被海外媒体Science Daily,Physics News等所报道。2011年入选“中科院百篇优秀博士论文”,2012年德国“洪堡学者”,2014年欧盟“玛丽居里学者”(IEF),2020年陕西省青年科技奖。现任中国激光杂志社青年编委、《红外与激光工程》青年编委、全息光学委员会委员、生物光子学委员会高级会员、波兰自然基金委评审专家

  • 中图分类号: O436

Autofocusing techniques in digital holographic microscopy and their applications (Cover paper) (Invited)

  • 摘要: 数字全息显微技术(Digital Holographic Microscopy, DHM)将光学干涉和光学显微技术相结合,为微观物体的三维形貌、透明物体的厚度/折射率分布提供了一种快速、无损测量手段。数字全息显微可以通过计算机模拟物光波的衍射传播以实现对被测样品的数字调焦。然而,这一过程需要事先知道全息图到物体像面的距离(文中称为离焦距离)。如何自动获得离焦距离一直是数字全息显微技术中的研究热点。为此,文中着重介绍了基于锐度度量、能量集中度、振幅模量分析、稀疏度测量以及不同照明调制的离焦量获取方法。利用该离焦量可以实现对运动样品或动态过程的自动调焦,为运动物体或动态过程的跟踪观测和实时干预提供了有力手段。此外,文中还介绍了数字全息显微自动调焦技术在细胞、三维粒子场上成像、识别和追踪以及生物组织三维成像等方面的应用。
  • 图  1  DHM光路示意图及百合花药样品重建结果。(a)DHM成像原理;(b)记录的全息图;(c)重建的振幅图像;(d)重建的相位图像

    Figure  1.  Schematic diagram of DHM and reconstructed results of lily anther specimen. (a) Imaging principle of DHM; (b) Recorded hologram; (c) Reconstructed amplitude image; (d) Reconstructed phase image

    图  2  振幅型样品的自动调焦。(a)~(c)样品在离焦距离d=−4 cm、d=0 cm、d=4 cm时的再现振幅分布;(d)~(f)样品在离焦距离d=−4 cm、d=0 cm、d=4 cm时的再现相位分布;(g)聚焦判据函数SPEC、VAR、GRA、LAP对应的评价函数曲线

    Figure  2.  Autofocusing of amplitude specimen. (a)-(c) Reconstructed amplitude images of the sample at the defocusing distance of d=−4 cm, d=0 cm, and d=4 cm; (d)-(f) Reconstructed phase images of the sample at the defocusing distance of d=−4 cm, d=0 cm, and d=4 cm; (g) Focusing metric curves calculated with different focusing criteria of SPEC, VAR, GRA, and LAP

    图  3  相位型样品的自动调焦。样品在离焦距离d=(0.1−4.2) cm、d=0.1 cm、d=(0.1+4.2) cm时的再现振幅分布((a)~(c)),以及再现相位分布((d)~(f));(g)聚焦判据函数SPEC、VAR、GRA、LAP对应的评价函数曲线[32]

    Figure  3.  Autofocusing of phase specimen. The reconstructed amplitude images ((a)-(c)) and phase images ((d)-(f)) of the sample at the defocusing distance d=(0.1−4.2) cm, d=0.1 cm, and d=(0.1+4.2) cm; (g) Focusing metric curves corresponding to the focus criterion function SPEC, VAR, GRA, and LAP[32]

    图  4  基于能量集中度的DHM自动调焦方法。(a)不同离焦距离下再现振幅图像的轴向投影;(b)不同离焦距离下的“有效区域”[40];(c)不同离焦距离处的草履虫的再现图像[39]

    Figure  4.  DHM autofocusing method based on energy concentration. (a) Axial projection of reconstructed amplitude images at different defocusing distances; (b) “Effective areas” at different defocusing distances[40]; (c) Reconstructed images of paramecium at different defocusing distances[39]

    图  5  基于振幅模量分析的单色/彩色DHM自动调焦结果。直径为5 µm粒子的(a)离焦强度图像和(b)在焦强度图像(d=55 µm);一体外活细胞的(d)离焦相位图像和(e)在焦相位图像(d=−30 µm) ;藻类样品的(g)离焦RGB强度图像和(h)在焦RGB相位图像(d=253 µm);对应于(c)粒子、(f)体外活细胞、(i)藻类细胞的基于振幅模量的调焦评价函数[41, 45]

    Figure  5.  Autofocusing results based on amplitude modulus analysis with monochrome/color DHM. (a) Defocus intensity image and (b) in-focus intensity image (d=55 µm) of a particle with a diameter of 5 µm; (d) Defocus phase image and (e) in-focus phase image (d=−30 µm) of an in vitro living cell; (g) Defocus RGB intensity image and (h) in-focus RGB phase image (d=253 µm) of an algal cell; Amplitude modulus-based focusing evaluation function corresponding to (c) particle , (f) in vitro living cell , and (i) algae cell[41, 45]

    图  6  DHM对藻类样品和不透明球形颗粒样品的自动调焦结果。(a)~(c)藻类样品的振幅模量、在最佳聚焦平面处(d=−68 µm)重建的经高通滤波后的强度图像/相位图像;(e)~(g)不透明球形颗粒样品的振幅模量、在最佳聚焦平面处(d=100 µm)重建的经高通滤波后的强度图像/相位图像;(d)和(h)分别为评价函数MH, dMd随重建距离d的变化曲线;(a)和(e)中比例尺为20 µm[51]

    Figure  6.  Autofocusing of an alga and an opaque spherical particle with DHM. (a)-(c) Modulus of the amplitude, the intensity of the reconstructed high-pass filtered amplitude and the unwrapped phase map of the algal at the focus plane (d=−68 µm), respectively; (e)-(g) Modulus of the amplitude, the intensity of the reconstructed high-pass filtered amplitude and the unwrapped phase map of the opaque spherical particle at the focus plane (d=100 µm), respectively; (d) and (h) are respectively the evolution of the criteria MH, d and Md as a function of the reconstruction distance d; the scale bar in (a) and (e), 20 µm[51]

    图  7  DHM对小鼠细胞的自动调焦成像。(a)GI评价函数极值点对应距离处(d=22.7 μm)的重建振幅图像;(b)相应离焦距离的重建相位图像;(c)三个评价函数(GI,TC,Energy)对应的评价函数曲线[54]

    Figure  7.  Autofocusing imaging of mouse cells with DHM. (a) Reconstructed amplitude image, calculated at a distance (d=22.7 μm) corresponding to the extreme point of GI; (b) Corresponding reconstructed phase image; (c) Three focusing curves associated with three focusing metrics (GI, TC, Energy)[54]

    图  8  基于离轴照明的自动调焦DHM装置。NF1~NF2,可调节中性衰减器;BS1~BS4,非偏振分光棱镜;BE1~BE2,扩束器;MO,40×/NA0.65的显微物镜;L,焦距为100 mm的消色差透镜[55]

    Figure  8.  Automatic focusing digital holographic microscope based on off-axis illumination. NF1 and NF2, neutral variable attenuators; BS1-BS4, nonpolarizing cube beam-splitters; BE1 and BE2, beam expanders; MO, microscope objective with magnification 40× and NA=0.65; L, achromatic lens with focal length fL=100 mm[55]

    图  9  基于离轴照明的DHM对矩形相位台阶的自动调焦成像。(a)离轴照明DHM原理图;(b)两束离轴照明光示意图;(c)~(f)在重建距离0 cm,−0.5 cm,−10 cm和−15 cm平面处的振幅A1~A2图像;(g)评价函数随重建距离的变化曲线;(h)重建相位分布(单位:2π),重建距离为−15 cm[55]

    Figure  9.  Autofocusing imaging of a microscopic rectangular phase-step with off-axis illumination based DHM. (a) Schematic of off-axis illumination of DHM; (b) Schematic of two off-axis illumination; (c)-(f) A1A2 in planes with the reconstruction distances d=0 cm, −0.5 cm, −10 cm, and −15 cm, respectively; (g) Focus criterion versus reconstructed distance; (h) Reconstructed phase distribution (unit: 2π) with d=−15 cm[55]

    图  10  基于双波长照明的自动调焦DHM装置。NF1~NF3,可变中性衰减器;MO,显微物镜(Mitutoyo M Plan Apo, 50×/NA0.55);L,焦距为175 mm的消色差双胶合透镜[56]

    Figure  10.  Automatic focusing digital holographic microscope based on dual wavelength illumination. NF1-NF3, variable neutral attenuator; MO, microscope objective (Mitutoyo M Plan Apo, 50×/NA0.55); L, achromatic doublet lens with focal length fL=175 mm[56]

    图  11  双波长DHM对矩形相位台阶的自动调焦成像。(a)~(c)样品在离焦距离d=0 cm,7.5 cm和15 cm处的重建振幅图像;(d)不同的离焦距离对应的评价函数曲线;(e) d=15 cm时红光照明下样品的重建相位分布[56]

    Figure  11.  Autofocusing imaging of a microscopic rectangular phase-step with two-wavelength DHM. (a)-(c) Reconstructed amplitude images of sample with d=0 cm, 7.5 cm, and 15 cm, respectively; (d) Focus criterion versus defocusing distance d; (e) Reconstructed phase distribution of the specimen for red light with d=15 cm[56]

    图  12  OV-DHM装置示意图。BS,分光棱镜;L1~L4,消色差透镜;MO1~MO2,显微物镜;M1~M2,反射镜;P,偏振片;PBS,偏振分光棱镜;O1O2,分别沿水平方向(0°)和竖直方向(90°)的线偏振物光波;R,具有45°方位角的线偏振参考光[57]

    Figure  12.  Experimental setup of opposite-view digital holographic microscopy (OV-DHM). BS, beamsplitter; L1-L4, achromatic lenses; MO1 and MO2, microscopic objectives; M1 and M2, mirrors; P, polarizer; PBS, polarization-maintaining beamsplitter; O1 and O2, object waves linearly polarized along horizontal (0°) and vertical (90°) directions, respectively; R, reference wave linearly polarized at an azimuth of 45°[57]

    图  13  OV-DHM对HeLa细胞的自动调焦成像。(a)物光波O1O2的全息图,插图为白色虚线框内区域的放大显示;(b)所提方法计算得到的评价函数曲线;(c)和(d)分别为对物光波O1重建的振幅和相位图像;(c)中的比例尺为45 μm[57]

    Figure  13.  Autofocusing imaging of HeLa cells with OV-DHM. (a) Holograms of the two object waves O1 and O2 and the insets show the zoomed rectangular areas within the white close-ups in (a). (b) Focus criterion curves calculated with the proposed method; (c) and (d) are reconstructed amplitude and phase images of the object wave O1; the scale bar in (c), 45 μm[57]

    图  14  基于结构光照明的DHM。(a)装置示意图;L1-L2,用于扩束的望远镜系统;L3-MO1,用于在物体上投射图案的望远镜系统;MO2-L4和L5-L6,用于放大物光和参考光并将它们传播到CCD的望远镜系统;(b)空间光调制器上加载的四组条纹图案;(c)全息图频谱,原始图像包含物光波的三个衍射级,即零级和正负一级[58]

    Figure  14.  DHM with structured illumination. (a) Schematics of the DHM setup with structured illumination; L1-L2, telescope system for expanding the beam; L3-MO1, telescope system for projecting the pattern on the object; MO2-L4 and L5-L6, telescope systems for magnifying the object and reference waves, and relaying them to the CCD; (b) Four groups of fringe patterns loaded in the SLM; (c) Frequency spectrum of the generated hologram where the primary image is composed of three copies of the object waves, generated by the 0th, 1st, and -1st orders of the illumination, respectively[58]

    图  15  基于结构光照明DHM的自动调焦成像。(a)基于VAR的锐度评价函数[24]和所提方法的评价函数曲线;(b)利用聚焦距离(d=3.2 cm)重建的相位(radiants/2π)图像[58]

    Figure  15.  Autofocusing imaging of DHM with structured illumination. (a) Focus criterions curves of the amplitude variation (VAR) based approach and the proposed method; (b) Reconstructed phase (radiants/2π) with reconstruction distance (d=3.2 cm)[58]

    图  16  DHM自动调焦技术的应用

    Figure  16.  Applications of automatic focusing technology in digital holographic microscopy

    图  17  DHM对悬浮细胞的多焦点自聚焦成像。(a)三个胰腺肿瘤细胞(PaTu 8988S)在不同焦平面上的数字全息图,标记为ABC;(b)从(g)~(i)中聚焦部分合并的放大相位分布图像;(c)在(a)图中方框的区域对应的聚焦评价函数;(d)~(f)在方框区域(ROI)在不同离焦距离下的再现振幅分布;(g)~(i)对应于(d)~(f)对应的相位图像[63]

    Figure  17.  Multi-focus autofocusing imaging of cells in suspension with DHM. (a) Digital hologram of three pancreas tumor cells (PaTu 8988S) in different focal planes denoted as A, B, C; (b) Merged phase image using the sub-images from the sharply focused parts in (g)-(i); (c) Focus criterion curves for the retangle areas marked with boxes; (d)-(f) Amplitude distributions of the cells for different propagation distances in the region of interests (ROIs) marked with boxes; (g)-(i) Phase contrast images corresponding to (d)-(f)[63]

    图  18  DHM对红细胞的自动调焦成像。(a)健康红细胞在x-z平面的剖面图;(b)健康红细胞在不同轴向平面的相位图像;(c)疟疾感染的红细胞在x-z平面的剖面图;(d)疟疾感染的红细胞在不同轴向平面的的相位图像[73]

    Figure  18.  Autofocusing imaging of a red blood cell (RBC) with DHM. (a)x-z sectioned image of a health RBC; (b) Phase images of a healthy RBC obtained at various axial distances; (c) x-z sectioned image of a malaria-infected RBC; (d) Phase images of a malaria-infected RBC obtained with various defocusing distances[73]

    图  19  DHM对细胞迁移的三维追踪成像。(a)胶原蛋白中成纤维细胞的3D迁移检测;第一行,明场图像(白光照明);第二行和第三行,DHM获得的相位图像;其中A为红色方框标记的细胞,B为绿色方框标记的细胞;(b) AB两个细胞的3D追踪轨迹[76]

    Figure  19.  3D tracking of cells during their migration with DHM. (a) 3D migration monitoring of fibroblasts in collagen; First row, bright-field images (white light illumination); second and third row, phase images obtained with DHM; A and B indicate the two cells marked with the red and green boxes, respectively; (b) 3D trajectories of the two cells marked with A and B[76]

    图  20  DHM对海胆幼虫的自动调焦成像。(a)~(d)聚焦距离为19.9 μm、9.65 μm、−3.1 μm、−34.4 μm时对应的再现强度图像[79]

    Figure  20.  Autofocusing imaging of a larva of sea urchin with DHM. (a)-(d) Corresponding reconstructed intensity images at a focusing distance d=19.9 μm, d=9.65 μm, d=−3.1 μm, and d=−34.4 μm[79]

    图  21  DHM对竹粉全息图颗粒的自动调焦成像。(a)记录的全息图;(b1)~(b2) d=−2.5 mm、d=3.2 mm处放大区域的重建图;(b3)景深拓展图;(c)完整的景深拓展图;(d)竹粉颗粒的三维分布;比例尺为1 mm [7]

    Figure  21.  Autofocusing imaging of bamboo power with DHM. (a) Recorded hologram; (b1)-(b2) Reconstructed images of magnified region at d=−2.5 mm and d=3.2 mm; (b3) Depth-of-field extended image; (c) Depth-of-field extended image of full hologram; (d) 3D distribution of the bamboo-power particles; scale bar, 1 mm[7]

    图  22  DHM对空气中PM颗粒的三维追踪成像。(a)实验装置示意图;(b)空气中沉降的PM颗粒的3D运动轨迹,沉降速度用彩色编码;(c)测量得到的沉降速度随PM颗粒尺寸的变化及与理论轮廓的对比[89]

    Figure  22.  3D tracking imaging of PM particles in air by DHM. (a) Schematic of experimental setup; (b) 3D trajectories of settling PMs in air with color-coded settling speed; (c) Variation of the measured settling velocity according to PM size and comparison with theoretical profile[89]

  • [1] Gabor D. A new microscopic principle [J]. Nature, 1948, 161: 777-778. doi:  10.1038/161777a0
    [2] Lin Y C, Chen H C, Tu H Y, et al. Optically driven full-angle sample rotation for tomographic imaging in digital holographic microscopy [J]. Optics Letters, 2017, 42(7): 1321-1324. doi:  10.1364/OL.42.001321
    [3] Geng J. Three-dimensional display technologies [J]. Advances in Optics and Photonics, 2013, 5(4): 456-535. doi:  10.1364/AOP.5.000456
    [4] Satoshi H, Yoshio H, Nobuo N. Holographic femtosecond laser processing with multiplexed phase Fresnel lenses [J]. Optics Letters, 2006, 31(11): 1705-1707. doi:  10.1364/OL.31.001705
    [5] Xiao L, Jianying H, Kun W, et al. Frequency expanded non-interferometric phase retrieval for holographic data storage [J]. Optics Express, 2020, 28(1): 511-518. doi:  10.1364/OE.380365
    [6] 李顺, 王地, 陆彦婷. 一种提高数字全息自适应光学系统成像分辨率的方法[J]. 中国激光, 2019, 46(7): 0709001. doi:  10.3788/CJL201946.0709001

    Li Shun, Wang Di, Lu Yanting. Method for improving imaging resolution of digital holographic adaptive optical system [J]. Chinese Journal of Lasers, 2019, 46(7): 0709001. (in Chinese) doi:  10.3788/CJL201946.0709001
    [7] 姚龙超, 吴学成, 林小丹, 等. 基于高速数字全息的燃烧生物质颗粒测试[J]. 激光与光电子学进展, 2019, 56(10): 100901.

    Yao Longchao, Wu Xuecheng, Lin Xiaodan, et al. Measurement of burning biomass particles via high-speed digital holography [J]. Laser & Optoelectronics Progress, 2019, 56(10): 100901. (in Chinese)
    [8] Sutkowski M, Kujawińska M. Application of liquid crystal (LC) devices for optoelectronic reconstruction of digitally stored holograms [J]. Optics and Lasers in Engineering, 2000, 33(3): 191-201. doi:  10.1016/S0143-8166(00)00042-7
    [9] Kohler C, Schwab X, Osten W. Optimally tuned spatial light modulators for digital holography [J]. Applied Optics, 2006, 45(5): 960-967. doi:  10.1364/AO.45.000960
    [10] Zwick S, Haist T, Warber M, et al. Dynamic holography using pixelated light modulators [J]. Applied Optics, 2010, 49(25): F47-F58. doi:  10.1364/AO.49.000F47
    [11] Reicherter M, Haist T, Wagemann E U, et al. Optical particle trapping with computer-generated holograms written on a liquid-crystal display [J]. Optics Letters, 1999, 24(9): 608-610. doi:  10.1364/OL.24.000608
    [12] Daneshpanah M, Zwick S, Schaal F, et al. 3D Holographic imaging and trapping for non-invasive cell identification and tracking [J]. Journal of Display Technology, 2010, 6(10): 490-499. doi:  10.1109/JDT.2010.2043499
    [13] Yu H, Jia S, Dong J, et al. Phase curvature compensation in digital holographic microscopy based on phase gradient fitting and optimization [J]. Journal of the Optical Society of America A, 2019, 36(12): D1-D6. doi:  10.1364/JOSAA.36.0000D1
    [14] Liu S, Lian Q, Xu Z. Phase aberration compensation for digital holographic microscopy based on double fitting and background segmentation [J]. Optics and Lasers in Engineering, 2019, 115: 238-242. doi:  10.1016/j.optlaseng.2018.12.001
    [15] Maurer C, Jesacher A, Bernet S, et al. What spatial light modulators can do for optical microscopy [J]. Laser & Photonics Reviews, 2011, 5(1): 81-101.
    [16] Haist T, Hasler M, Osten W, et al. Programmable Microscopy[M]. Berlin: Springer, 2014.
    [17] Marquet P, Depeursinge C. Digital Holographic Microscopy: A New Imaging Technique to Quantitatively Explore Cell Dynamics with Nanometer Sensitivity[M]. Berlin: Springer, 2014.
    [18] Onural L, Yaras F, Kang H. Digital holographic three-dimensional video displays [J]. Proceedings of the IEEE, 2011, 99(4): 576-589. doi:  10.1109/JPROC.2010.2098430
    [19] Lee B, Kim Y. Three-Dimensional Display and Imaging: Status and Prospects[M]. Berlin: Springer, 2012.
    [20] Osten W, Baumbach T, Jüptner W. Comparative digital holography [J]. Optics Letters, 2002, 27(20): 1764-1766. doi:  10.1364/OL.27.001764
    [21] Baumbach T, Osten W, Kopylow C V, et al. Remote metrology by comparative digital holography [J]. Applied Optics, 2006, 45(5): 925-934. doi:  10.1364/AO.45.000925
    [22] 温凯, 马英, 张美玲, 等. 高稳定性定量相位显微技术[J]. 激光与光电子学进展, 2020, 57(20): 200001.

    Wen Kai, Ma Ying, Zhang Meiling, et al. Quantitative phase microscopy with high stability [J]. Laser & Optoelectronics Progress, 2020, 57(20): 200001. (in Chinese)
    [23] Muller R A, Buffington A. Real-time correction of atmospherically degraded telescope images through image sharpening [J]. Journal of the Optical Society of America, 1974, 64(9): 1200-1210. doi:  10.1364/JOSA.64.001200
    [24] Ilhan H A, Dogar M, Ozcan M. Digital holographic microscopy and focusing methods based on image sharpness [J]. Journal of Microscopy, 2014, 255(3): 138-149. doi:  10.1111/jmi.12144
    [25] Santos A, Ortiz De Solorzano C, Vaquero J J, et al. Evaluation of autofocus functions in molecular cytogenetic analysis [J]. Journal of Microscopy, 1997, 188(3): 264-272. doi:  10.1046/j.1365-2818.1997.2630819.x
    [26] Brenner J F, Dew B S, Horton J B, et al. An automated microscope for cytologic research a preliminary evaluation [J]. Journal of Histochemistry & Cytochemistry, 1976, 24(1): 100-111.
    [27] Yeo T, Ong S H, Jayasooriah, et al. Autofocusing for tissue microscopy [J]. Image and Vision Computing, 1993, 11(10): 629-639. doi:  10.1016/0262-8856(93)90059-P
    [28] Fonseca E S R, Fiadeiro P T, Pereira M, et al. Comparative analysis of autofocus functions in digital in-line phase-shifting holography [J]. Applied Optics, 2016, 55(27): 7663-7674. doi:  10.1364/AO.55.007663
    [29] Firestone L, Cook K, Culp K, et al. Comparison of autofocus methods for automated microscopy [J]. Cytometry, 1991, 12(3): 195-206. doi:  10.1002/cyto.990120302
    [30] Vollath D. Automatic focusing by correlative methods [J]. Journal of Microscopy, 1987, 147(3): 279-288. doi:  10.1111/j.1365-2818.1987.tb02839.x
    [31] Groen F C A, Young I T, Ligthart G. A comparison of different focus functions for use in autofocus algorithms [J]. Cytometry, 1985, 6(2): 81-91. doi:  10.1002/cyto.990060202
    [32] Langehanenberg P, Kemper B, Dirksen D, et al. Autofocusing in digital holographic phase contrast microscopy on pure phase objects for live cell imaging [J]. Applied Optics, 2008, 47(19): D176-D182. doi:  10.1364/AO.47.00D176
    [33] Bravo-Zanoguera M, Massenbach B V, Kellner A L, et al. High-performance autofocus circuit for biological microscopy [J]. Review of Scientific Instruments, 1998, 69(11): 3966-3977. doi:  10.1063/1.1149207
    [34] Sun Y, Duthaler S, Nelson B J. Autofocusing in computer microscopy: selecting the optimal focus algorithm [J]. Microscopy Research and Technique, 2004, 65(3): 139-149. doi:  10.1002/jemt.20118
    [35] Ozgen M T, Tuncer T E. Object reconstruction from in-line Fresnel holograms without explicit depth focusing [J]. Optical Engineering, 2004, 43(6): 1300-1310. doi:  10.1117/1.1737785
    [36] Geusebroek J-M, Cornelissen F, Smeulders A W M, et al. Robust autofocusing in microscopy [J]. Cytometry, 2000, 39(1): 1-9. doi:  10.1002/(SICI)1097-0320(20000101)39:1<1::AID-CYTO2>3.0.CO;2-J
    [37] Thelen A, Bongartz J, Giel D, et al. Iterative focus detection in hologram tomography [J]. Journal of the Optical Society of America A, 2005, 22(6): 1176-1180. doi:  10.1364/JOSAA.22.001176
    [38] Elsfisser H P, Lehr U, Agricola B, et al. Establishment and characterisation of two cell lines with different grade of differentiation derived from one primary human pancreatic adenocarcinoma [J]. Virchows Archiv B Cell Pathology, 1992, 61(1): 295-306. doi:  10.1007/BF02890431
    [39] Trujillo C A, Garcia-Sucerquia J. Automatic method for focusing biological specimens in digital lensless holographic microscopy [J]. Optics Letters, 2014, 39(9): 2569-2572. doi:  10.1364/OL.39.002569
    [40] Restrepo J F, Garcia-Sucerquia J. Automatic three-dimensional tracking of particles with high-numerical-aperture digital lensless holographic microscopy [J]. Optics Letters, 2012, 37(4): 752-754. doi:  10.1364/OL.37.000752
    [41] Dubois F, Schockaert C, Callens N, et al. Focus plane detection criteria in digital holography microscopy by amplitude analysis [J]. Optics Express, 2006, 14(13): 5895-5908. doi:  10.1364/OE.14.005895
    [42] Milgram J H, Li W. Computational reconstruction of images from holograms [J]. Applied Optics, 2002, 41(5): 853-864. doi:  10.1364/AO.41.000853
    [43] Schnars U, Jüptner W P O. Digital recording and numerical reconstruction of holograms [J]. Measurement Science And Technology, 2002, 13(9): R85-R101. doi:  10.1088/0957-0233/13/9/201
    [44] Li W, Loomis N C, Hu Q, et al. Focus detection from digital in-line holograms based on spectral L1 norms [J]. Journal of the Optical Society of America A, 2007, 24(10): 3054-3062. doi:  10.1364/JOSAA.24.003054
    [45] Dohet-Eraly J, Yourassowsky C, Dubois F. Refocusing based on amplitude analysis in color digital holographic microscopy [J]. Optics Letters, 2014, 39(5): 1109-1112. doi:  10.1364/OL.39.001109
    [46] Dubois F, Yourassowsky C. Full off-axis red-green-blue digital holographic microscope with LED illumination [J]. Optics Letters, 2012, 37(12): 2190-2192. doi:  10.1364/OL.37.002190
    [47] Ferraro P, Grilli S, Miccio L, et al. Full color 3D imaging by digital holography and removal of chromatic aberrations [J]. Journal of Display Technology, 2008, 4(1): 97-100. doi:  10.1109/JDT.2007.900936
    [48] Yamaguchi I, Matsumura T, Kato J I. Phase-shifting color digital holography [J]. Optics Letters, 2002, 27(13): 1108-1110. doi:  10.1364/OL.27.001108
    [49] Garcia-Sucerquia J. Color lensless digital holographic microscopy with micrometer resolution [J]. Optics Letters, 2012, 37(10): 1724-1726. doi:  10.1364/OL.37.001724
    [50] Tahara T, Kakue T, Awatsuji Y, et al. Parallel phase-shifting color digital holographic microscopy [J]. 3D Research, 2010, 1(4): 1-6. doi:  10.1007/3DRes.04(2010)01
    [51] Dubois F, Mallahi A E, Dohet-Eraly J, et al. Refocus criterion for both phase and amplitude objects in digital holographic microscopy [J]. Optics Letters, 2014, 39(15): 4286-4289. doi:  10.1364/OL.39.004286
    [52] Yourassowsky C, Dubois F. High throughput holographic imaging-in-flow for the analysis of a wide plankton size range [J]. Optics Express, 2014, 22(6): 6661-6673. doi:  10.1364/OE.22.006661
    [53] Memmolo P, Distante C, Paturzo M, et al. Automatic focusing in digital holography and its application to stretched holograms [J]. Optics Letters, 2011, 36(10): 1945-1947. doi:  10.1364/OL.36.001945
    [54] Memmolo P, Paturzo M, Javidi B, et al. Refocusing criterion via sparsity measurements in digital holography [J]. Optics Letters, 2014, 39(16): 4719-4722. doi:  10.1364/OL.39.004719
    [55] Gao P, Yao B, Min J, et al. Autofocusing of digital holographic microscopy based on off-axis illuminations [J]. Optics Letters, 2012, 37(17): 3630-3632. doi:  10.1364/OL.37.003630
    [56] Gao P, Yao B, Rupp R, et al. Autofocusing based on wavelength dependence of diffraction in two-wavelength digital holographic microscopy [J]. Optics Letters, 2012, 37(7): 1172-1174. doi:  10.1364/OL.37.001172
    [57] Zheng J, Gao P, Shao X. Opposite-view digital holographic microscopy with autofocusing capability [J]. Scientific Reports, 2017, 7(1): 4255-4263. doi:  10.1038/s41598-017-04568-x
    [58] Gao P, Pedrini G, Osten W. Structured illumination for resolution enhancement and autofocusing in digital holographic microscopy [J]. Optics Letters, 2013, 38(8): 1328-1330. doi:  10.1364/OL.38.001328
    [59] Yuan C, Situ G, Pedrini G, et al. Resolution improvement in digital holography by angular and polarization multiplexing [J]. Applied Optics, 2011, 50(7): B6-B11. doi:  10.1364/AO.50.0000B6
    [60] Gustafsson M G L. Surpassing the lateral resolution limit by a factor of two using structured illumination microscopy [J]. Journal of Microscopy, 2000, 198: 82-87. doi:  10.1046/j.1365-2818.2000.00710.x
    [61] Shao L, Kner P, Rego E H, et al. Super-resolution 3D microscopy of live whole cells using structured illumination [J]. Nature Methods, 2011, 8(12): 1044-1046. doi:  10.1038/nmeth.1734
    [62] Kemper B, Bally G v. Digital holographic microscopy for live cell applications and technical inspection [J]. Applied Optics, 2008, 47(4): A52-A61. doi:  10.1364/AO.47.000A52
    [63] Langehanenberg P, Bally G V, Kemper B. Autofocusing in digital holographic microscopy [J]. 3D Research, 2011, 2(1): 1-11. doi:  10.1007/3DRes.01(2011)1
    [64] Schnars U, Jueptner W. Digital Holography: Digital Hologram Recording, Numerical Reconstruction, and Related Techniques[M]. Berlin: Springer-Verlag, 2005.
    [65] Cuche E, Bevilacqua F, Depeursinge C. Digital holography for quantitative phase-contrast imaging [J]. Optics Letters, 1999, 24(5): 291-293. doi:  10.1364/OL.24.000291
    [66] Marquet P, Rappaz B, Magistretti P J, et al. Digital holographic microscopy: a noninvasive contrast imaging technique allowing quantitative visualization of living cells with subwavelength axial accuracy [J]. Optics Letters, 2005, 30(5): 468-470. doi:  10.1364/OL.30.000468
    [67] Frauel Y, Naughton T J, Matoba O, et al. Three-dimensional imaging and processing using computational holographic imaging [J]. Proceedings of the IEEE, 2006, 94(3): 636-653. doi:  10.1109/JPROC.2006.870704
    [68] Ferraro P, Grilli S, Alfieri D, et al. Extended focused image in microscopy by digital holography [J]. Optics Express, 2005, 13(18): 6738-6749. doi:  10.1364/OPEX.13.006738
    [69] Anand A, Chhaniwal V K, Javidi B. Real-time digital holographic microscopy for phase contrast 3D imaging of dynamic phenomena [J]. Journal of Display Technology, 2010, 6(10): 500-505. doi:  10.1109/JDT.2010.2052020
    [70] Anand A, Chhaniwal V K, Javidi B. Imaging embryonic stem cell dynamics using quantitative 3D digital holographic microscopy [J]. IEEE Photonics Journal, 2011, 3(3): 546-554. doi:  10.1109/JPHOT.2011.2158637
    [71] Rappaz B, Barbul A, Emery Y, et al. Comparative study of human erythrocytes by digital holographic microscopy, confocal microscopy, and impedance volume analyzer [J]. Cytometry Part A, 2008, 73A(10): 895-903. doi:  10.1002/cyto.a.20605
    [72] Shin D, Daneshpanah M, Anand A, et al. Optofluidic system for three-dimensional sensing and identification of micro-organisms with digital holographic microscopy [J]. Optics Letters, 2010, 35(23): 4066-4068. doi:  10.1364/OL.35.004066
    [73] Anand A, Chhaniwal V K, Patel N R, et al. Automatic identification of malaria-infected RBC with digital holographic microscopy using correlation algorithms [J]. IEEE Photonics Journal, 2012, 4(5): 1456-1464. doi:  10.1109/JPHOT.2012.2210199
    [74] Go T, Byeon H, Lee S J. Label-free sensor for automatic identification of erythrocytes using digital in-line holographic microscopy and machine learning [J]. Blosensors and Bloelectronlcs, 2018, 103: 12-18. doi:  10.1016/j.bios.2017.12.020
    [75] Singh D K, Ahrens C C, Li W, et al. Label-free, high-throughput holographic screening and enumeration of tumor cells in blood [J]. Lab on a Chip, 2017, 17: 2920-2932. doi:  10.1039/C7LC00149E
    [76] Kemper B, Langehanenberg P, Vollmer A, et al. Digital holographic microscopy: label-free 3D migration monitoring of living cells [J]. Imaging & Microscopy, 2010, 11(4): 26-28.
    [77] Lee S J, Go T, Byeon H. Three-dimensional swimming motility of microorganism in the near-wall region [J]. Experiments in Fluids, 2016, 57(2): 1-10.
    [78] Go T, Byeon H, Lee S J. Focusing and alignment of erythrocytes in a viscoelastic medium [J]. Scientific Reports, 2017, 7(1): 1-10. doi:  10.1038/s41598-016-0028-x
    [79] Faridian A, Pedrini G, Osten W. High-contrast multilayer imaging of biological organisms through dark-field digital refocusing [J]. Journal of Biomedical Optics, 2013, 18(8): 086009.
    [80] Zhang M, Ma Y, Wang Y, et al. Polarization grating based on diffraction phase microscopy for quantitative phase imaging of paramecia [J]. Optics Express, 2020, 28(20): 29775-29787. doi:  10.1364/OE.404289
    [81] Faridian A, Pedrini G, Osten W. Opposed-view dark-field digital holographic microscopy [J]. Biomedical Optics Express, 2014, 5(3): 728-736. doi:  10.1364/BOE.5.000728
    [82] Yu X, Hong J, Liu C, et al. Four-dimensional motility tracking of biological cells by digital holographic microscopy [J]. Journal of Biomedical Optics, 2014, 19(4): 045001.
    [83] Juette M F, Bewersdorf J. Three-dimensional tracking of single fluorescent particles with submillisecond temporal resolution [J]. Nano Letters, 2010, 10(11): 4657-4663. doi:  10.1021/nl1028792
    [84] Dalgarno P A, Dalgarno H I C, Putoud A, et al. Multiplane imaging and three dimensional nanoscale particle tracking in biological microscopy [J]. Optics Express, 2010, 18(2): 877-884. doi:  10.1364/OE.18.000877
    [85] Cheong F C, Krishnatreya B J, Grier D G. Strategies for three-dimensional particle tracking with holographic video microscopy [J]. Optics Express, 2010, 18(13): 13563-13573. doi:  10.1364/OE.18.013563
    [86] Memmolo P, Iannone M, Ventre M, et al. On the holographic 3D tracking of in vitro cells characterized by a highly-morphological change [J]. Optics Express, 2012, 20(27): 28485-28493. doi:  10.1364/OE.20.028485
    [87] Talapatra S, Katz J. Three-dimensional velocity measurements in a roughness sublayer using microscopic digital in-line holography and optical index matching [J]. Measurement Science and Technology, 2012, 24(2): 024004.
    [88] Byeon H J, Seo K W, Lee S J. Precise measurement of three-dimensional positions of transparent ellipsoidal particles using digital holographic microscopy [J]. Applied Optics, 2015, 54(8): 2106-2112. doi:  10.1364/AO.54.002106
    [89] Go T, Kim J, Lee S J. Three-dimensional volumetric monitoring of settling particulate matters on a leaf using digital in-line holographic microscopy [J]. Journal of Hazardous Materials, 2021, 404: 124116. doi:  10.1016/j.jhazmat.2020.124116
    [90] Byeon H, Go T, Lee S J. Digital stereo-holographic microscopy for studying three-dimensional particle dynamics [J]. Optics and Lasers in Engineering, 2018, 105: 6-13. doi:  10.1016/j.optlaseng.2017.12.008
  • [1] 潘宏亮, 孙金霞, 韩希珍.  图像清晰度评价与变步长融合调焦方法 . 红外与激光工程, 2023, 52(1): 20220342-1-20220342-6. doi: 10.3788/IRLA20220342
    [2] 张泽, 侯国忠, 邓岩岩, 章媛, 张德林, 李兢兢, 王雨雷, 吕志伟, 夏元钦.  小鼠大脑飞秒双光子荧光三维显微成像研究 . 红外与激光工程, 2023, 52(8): 20230201-1-20230201-11. doi: 10.3788/IRLA20230201
    [3] 冀鹏州, 穆郁, 张晨钟, 孟军合, 赵侃, 徐大维.  用于亚公里级三维成像的全光相机主物镜设计 . 红外与激光工程, 2022, 51(3): 20210493-1-20210493-7. doi: 10.3788/IRLA20210493
    [4] 王新伟, 孙亮, 王敏敏, 杨于清, 周燕.  水下二维及三维距离选通成像去噪技术研究 . 红外与激光工程, 2020, 49(2): 0203002-0203002. doi: 10.3788/IRLA202049.0203002
    [5] 冯世杰, 左超, 尹维, 陈钱.  深度学习技术在条纹投影三维成像中的应用 . 红外与激光工程, 2020, 49(3): 0303018-0303018-17. doi: 10.3788/IRLA202049.0303018
    [6] 康岩, 薛瑞凯, 李力飞, 张同意, 张勇, 赵卫.  基于像素复用的SPAD阵列连续扫描三维成像 . 红外与激光工程, 2020, 49(S2): 20200375-20200375. doi: 10.3788/IRLA20200375
    [7] 曹杰, 郝群, 张芳华, 徐辰宇, 程阳, 张佳利, 陶禹, 周栋, 张开宇.  APD三维成像激光雷达研究进展 . 红外与激光工程, 2020, 49(9): 20190549-1-20190549-10. doi: 10.3788/IRLA20190549
    [8] 孙宝清, 江山, 马艳洋, 蒋文杰, 殷永凯.  单像素成像在特殊波段及三维成像的应用发展 . 红外与激光工程, 2020, 49(3): 0303016-0303016-16. doi: 10.3788/IRLA202049.0303016
    [9] 王帅, 孙华燕, 赵延仲, 曾海瑞, 刘田间.  基于光学相控阵的提高APD阵列三维成像分辨率方法 . 红外与激光工程, 2019, 48(4): 406003-0406003(8). doi: 10.3788/IRLA201948.0406003
    [10] 孙鸣捷, 张佳敏.  单像素成像及其在三维重建中的应用 . 红外与激光工程, 2019, 48(6): 603003-0603003(11). doi: 10.3788/IRLA201948.0603003
    [11] 王保平, 马健钧, 张研, 方阳.  基于最小能量准则的参数估计圆周SAR三维成像方法 . 红外与激光工程, 2019, 48(7): 726001-0726001(7). doi: 10.3788/IRLA201948.0726001
    [12] 陈妮, 左超, Byoungho Lee.  基于深度测量的三维成像技术 . 红外与激光工程, 2019, 48(6): 603013-0603013(25). doi: 10.3788/IRLA201948.0603013
    [13] 张佳琳, 陈钱, 张翔宇, 孙佳嵩, 左超.  无透镜片上显微成像技术:理论、发展与应用 . 红外与激光工程, 2019, 48(6): 603009-0603009(33). doi: 10.3788/IRLA201948.0603009
    [14] 张敏敏, 田珍耘, 熊元康, 马凤英, 弓巧侠, 潘志峰, 杜艳丽.  非相干光自干涉数字全息成像技术研究 . 红外与激光工程, 2019, 48(12): 1224001-1224001(8). doi: 10.3788/IRLA201948.1224001
    [15] 李潇, 石柱, 代千, 覃文治, 寇先果, 袁鎏, 刘期斌, 黄海华.  64×64 InGaAs/InP三维成像激光焦平面探测器 . 红外与激光工程, 2018, 47(8): 806004-0806004(5). doi: 10.3788/IRLA201847.0806004
    [16] 任同群, 黄海亭, 王晓东, 刘钰.  微装配中变焦变倍视觉系统标定及自动聚焦 . 红外与激光工程, 2018, 47(11): 1117001-1117001(10). doi: 10.3788/IRLA201847.1117001
    [17] 张晓磊, 张祥朝, 肖虹, 徐敏.  针对结构表面的数字全息相位重构散斑去除方法 . 红外与激光工程, 2016, 45(7): 726002-0726002(8). doi: 10.3788/IRLA201645.0726002
    [18] 张振振, 杨爱玲, 赵扬, 南钢洋.  人工缺陷铝块试样的激光超声三维成像 . 红外与激光工程, 2015, 44(S1): 57-62.
    [19] 李小珍, 吴玉峰, 郭亮, 曾晓东.  合成孔径激光雷达下视三维成像构型及算法 . 红外与激光工程, 2014, 43(10): 3276-3281.
    [20] 莫春红, 刘波, 丁璐, 陈二瑞, 郭高.  一种梯度阈值自动调焦算法 . 红外与激光工程, 2014, 43(1): 323-327.
  • 加载中
图(22)
计量
  • 文章访问数:  959
  • HTML全文浏览量:  282
  • PDF下载量:  164
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-10-06
  • 修回日期:  2020-12-22
  • 网络出版日期:  2021-02-07
  • 刊出日期:  2021-02-07

数字全息显微中自动调焦技术及其应用 (封面文章) (特邀)

doi: 10.3788/IRLA20200530
    作者简介:

    王宇(1994−),男,硕士生,主要从事相位显微成像方面的研究。曾获2020年陕西省科技工作者创新创业大赛“三等奖”(排名第5)、西安电子科技大学第十二届“挑战杯”大学生创业计划竞赛“银奖”,西安电子科技大学第六届“校长杯”创新创业大赛“铜奖”

    郜鹏(1983−),男,教授,博士生导师。主要研究方向为:超分辨光学显微、相位显微以及荧光相关光谱技术。迄今在Nature Photonics、Advance of Optics and photonics等学术期刊发表研究论文50余篇、授权发明专利6项。研究工作曾被选为期刊封面、美国光学学会-研究热点、并被海外媒体Science Daily,Physics News等所报道。2011年入选“中科院百篇优秀博士论文”,2012年德国“洪堡学者”,2014年欧盟“玛丽居里学者”(IEF),2020年陕西省青年科技奖。现任中国激光杂志社青年编委、《红外与激光工程》青年编委、全息光学委员会委员、生物光子学委员会高级会员、波兰自然基金委评审专家

基金项目:  国家自然科学基金(62075177);陕西省自然科学基金(2020JM-193,2020JQ-324);瞬态光学与光子技术国家重点实验室基金(SKLST201804);江西省图像处理与模式识别国家重点实验室基金(ET202080417)
  • 中图分类号: O436

摘要: 数字全息显微技术(Digital Holographic Microscopy, DHM)将光学干涉和光学显微技术相结合,为微观物体的三维形貌、透明物体的厚度/折射率分布提供了一种快速、无损测量手段。数字全息显微可以通过计算机模拟物光波的衍射传播以实现对被测样品的数字调焦。然而,这一过程需要事先知道全息图到物体像面的距离(文中称为离焦距离)。如何自动获得离焦距离一直是数字全息显微技术中的研究热点。为此,文中着重介绍了基于锐度度量、能量集中度、振幅模量分析、稀疏度测量以及不同照明调制的离焦量获取方法。利用该离焦量可以实现对运动样品或动态过程的自动调焦,为运动物体或动态过程的跟踪观测和实时干预提供了有力手段。此外,文中还介绍了数字全息显微自动调焦技术在细胞、三维粒子场上成像、识别和追踪以及生物组织三维成像等方面的应用。

English Abstract

    • 相位是光波除振幅之外的另一重要特征。利用相位成像,不仅可以提高对透明样品(例如细胞)的成像对比度,而且可以定量得到待测样品的三维形貌或折射率分布。因此,该技术被广泛应用于生命科学研究、工业检测、粒子场测量等多个领域。全息技术,作为相位成像中的典型成像技术之一,自诞生以来便引起了人们的广泛关注。1948年,英国科学家Gabor利用胶片记录经物体衍射的电子波,即同轴全息图。当使用相干光波照射全息图像时可实现全息图在空间上的再现,恢复物体空间分布的所有信息,包括相位和振幅[1]。至此之后,全息技术的照明光源和记录方式也随着相关技术的进步几经更迭:(1)全息技术对光源具有相干性较高需求的特点由激光器的出现得到了完美解决,并由此衍生了离轴全息记录和再现技术。此类技术的产生有效地解决了同轴全息记录方式重建时零级像和孪生像无法分离的问题;(2)数字探测器即CCD (Charge Coupled Device, CCD)和CMOS (Complementary Metal Oxide Semiconductor, CMOS)的出现让全息图的记录方式实现了由全息干板(或照相乳胶)到数字化的飞跃,使全息图可以通过计算机进行数字存储和重建。由此,由全息技术发展而来的数字全息技术迎来了其“生命”的春天。迄今为止,数字全息技术,作为现代成像技术中的典型代表,经过不断完善已在不同领域产生了深远的影响,如显微技术[2]、显示技术[3]、材料处理[4]、数据存储[5]、自适应光学[6]以及颗粒测量[7]等。与此同时,数字全息技术与新型技术(例如空间光调制(Spatial Light Modulator, SLM)[8- 9]技术)的结合使得其应用范围进一步扩大,并且推动了相关交叉技术的发展,例如全息显微操作[10-12]、像差补偿[13-14]、计算显微[15-17]、全息显示[18-19]、比较数字全息[20-21]等。

      数字全息显微技术(Digital Holographic Microscopy, DHM)将数字全息和显微技术相结合,无需对样品进行特殊处理便可得到其振幅/相位分布。该技术快速、无损、非侵入的成像优点使其在对透明(或半透明)样品测量方面具有独特优势。DHM的成像原理如图1(a)所示:照明光经过非偏振分光棱镜(NPBS1)后被分作两束光,一束光穿过样品后被望远镜系统MO-L放大后用作物光(O,含样品信息),另一束光被望远系统MO-L放大后用作参考光(R,未含样品信息),两束光通过非偏振分光棱镜(NPBS2)后发生干涉,产生的干涉图样由探测器CCD接收。相比于同轴DHM记录方式,离轴DHM记录时物光(O)和参考光(R)之间具有一定的夹角,其全息图像的强度分布可以表示为[22]

      图  1  DHM光路示意图及百合花药样品重建结果。(a)DHM成像原理;(b)记录的全息图;(c)重建的振幅图像;(d)重建的相位图像

      Figure 1.  Schematic diagram of DHM and reconstructed results of lily anther specimen. (a) Imaging principle of DHM; (b) Recorded hologram; (c) Reconstructed amplitude image; (d) Reconstructed phase image

      $$I(x,y) = {\left| O \right|^2} + {\left| R \right|^2} + 2\left| O \right|\left| R \right| \cdot \cos (\varphi + Kx)$$ (1)

      式中:$ \varphi {(}{x}{,}{}{y}{)} $OR间的相位差;K为探测器表面上干涉条纹的载频量,其方向假定沿x方向。通过离轴再现,其复振幅可表示为:

      $$\begin{split} O_r (x,y,d) = & {{{\rm{IFT}}}}\Bigg\{ {{{{\rm{FT}}}}\left[ {I{R_{\rm{D}}}} \right] \cdot \hat W(\xi ,\eta )\exp } \cdot \hfill \\ & {\left[ {ikd\sqrt {1 - {{(\lambda \xi )}^2} - {{(\lambda \eta )}^2}} } \right]} \Bigg\} \hfill \\ \end{split}$$ (2)

      式中:d为离焦距离即全息图到物体像面的距离;数字参考光用${{R}}_{{{\rm{D}}}}{=\exp(-{{i}}}{Kx}{)}$表示,可通过条纹载频量K确定,用来补偿OR间夹角带来的频谱移动。${{{{\rm{FT}}}}}{\{ \cdot \}}$${{{{\rm{IFT}}}}\{ \cdot \}}$分别表示傅里叶变换和傅里叶逆变换;$ {(}{x}{,}{}{y}{)} $为空间域坐标;$ {(}\xi {,}{}\eta {)} $为频率域坐标。利用窗函数$ {\widehat{W}}{(}\xi {,}\eta {)} $选择物光实像的频率分布。通过再现后复振幅Or(x, y, d)和Or=|Or|exp(r)之间的相对应关系,最终可以获得待测样品的振幅|Or(x, y)|和相位φ(x, y)分布,分别如图1(c)1(d)所示。

      相比于传统的光学显微,DHM具有多种优势:(1)通过获得样品的相位图像,实现对透明样品的高衬度成像;(2)利用计算机完成对物光波传播过程的再现,实现数字调焦。

      DHM的自动调焦功能为运动物体或动态过程的跟踪观测和实时干预提供了有力手段。然而该数字调焦过程要已知样品的离焦距离,即全息图到物体像面的距离。传统做法是通过测量来确定离焦距离,或通过逐渐改变离焦距离来寻找准确的像面。若能自动获得离焦距离,不仅大大节约了调焦时间,也为DHM实现三维实时观测和及时干预提供了有效途径。因此,如何定量获取测量过程中的离焦距离来保证重建质量便是该技术亟需解决的问题之一。

      自动调焦,通过以连续步进的方式改变数值重建算法中离焦距离d的大小,计算出一系列重建图像,利用自动调焦算法评价函数确定最佳聚焦距离,进而获得高质量的重建图像。自动调焦评价函数是用来评价图像清晰度的依据标准,评价函数曲线应当满足单峰性(在自动调焦范围区间内的全局极值点对应最佳聚焦位置)和收敛性(曲线在全局极值点两侧的斜率绝对值越大或半高宽越小,则收敛性越高)。因而选择合适的自动调焦评价算法来精确获得离焦距离,是DHM中数字重建的关键。

      文中主要就全息图离焦量的数字获取方法及DHM自动调焦技术在多个领域中的应用两个方面综述了DHM中的自动调焦技术的最新研究进展。

    • 如上所述,根据调焦算法的评价函数可以获得最佳的离焦距离,最后利用该离焦距离再现出最优的重建结果。下面将分别介绍基于锐度度量分析、能量集中度、振幅模量分析及其改进、稀疏度测量以及以不同照明调制为基础的离轴照明、双波长照明、4π照明以及结构光照明的离焦量获取方法。

    • 1974年,Muller和Buffington[23]首次提出基于再现像锐度的调焦评价函数,并通过计算不同距离处调焦评价函数的取值得到全局极值进而获得最佳离焦距离。一般常用的锐度度量函数可以分为以下几类[24]:基于梯度函数的锐度度量、基于频谱分析的锐度度量、基于图像灰度直方图的锐度度量,以及基于不同统计关系的锐度度量。(1)基于梯度函数的锐度度量:通过计算图像灰度的梯度函数并对其进行分析,由于在焦图像比较锐利,其强度分布的相对变化较大,由此便具有更大的梯度值。因此,利用该特征可以对图像离焦程度进行评价,用以寻找最佳调焦距离,常用的梯度函数有:平方梯度函数(Gradient-squared)[25]、Brenner梯度函数(Brenner gradient)[26]、Tenengrad梯度函数(Tenenbaum gradient)[27]等。(2)基于频谱分析的锐度度量[28]:对图像进行傅里叶变换后在频域中利用不同评价函数评判其频谱中高频信息的含量来量化图像的聚焦程度。频谱中的高频信息含量越多,图像中细节信息便越多,边缘越清晰,图像聚焦程度则越高。(3)基于图像灰度直方图的锐度度量[29]:通过对图像灰度分布直方图的灰度级和在不同灰度级下灰度值的出现次数进行计算,以此依据灰度级的变化来判断图像的聚焦程度。(4)基于不同统计关系的锐度度量:利用自相关(Auto correlation)[30]、相关偏差(Deviation-based correlation)[30]、方差(Variance)[31]等统计关系作为评价函数对图像的聚焦程度进行评价,来确定最佳调焦距离:相邻像素间的灰度值相关性差异越大,图像聚焦程度则越高。在以上几类评价函数中,最常用的锐度度量评价函数有四种[32]:加权光谱分析(Weighted Spectral Analysis, SPEC),灰度值分布方差(Variance of Gray Value Distribution, VAR),梯度计算累积边缘检测(Cumulated Edge Detection by Gradient Calculation, GRA)和基于拉普拉斯滤波的累积边缘检测(Cumulated Edge Detection by Laplace Filtering, LAP)。

      $$\begin{array}{l} S\!\!PEC = \displaystyle\sum\limits_{\mu ,\nu } {\log \{ 1 + \left[ {{\Im _{\rm{F}}}(g)(\mu ,\nu )} \right]\} } \\ V\!AR = \dfrac{1}{{{N_x}{N_y}}}{\displaystyle\sum\limits_{x,y} {\left[ {g(x,y) - \bar g} \right]} ^2} \\ GRA \!= \!\! \displaystyle\sum\limits_{x = 1}^{{N_x} - 1} {\displaystyle\sum\limits_{y = 1}^{{N_y} \!-\!\! 1} {\sqrt {{{(g(x,y) \!\!-\! g(x \!-\! 1,y))}^2} \!+\!\! {{(g(x,y) \!-\! g(x,y \!-\!\! 1))}^2}} } } \\ LAP = \displaystyle\sum\limits_{x = 1}^{{N_x} - 1} {\displaystyle\sum\limits_{y = 1}^{{N_y} - 1} {\Big[ {g(x + 1,y) + g(x - 1,y) + g(x,y + 1) + } } } \\ \;\;\;\;\;\;\;\;\;\;\;\;\; { {g(x,y - 1) - 4g(x,y)} \Big]^2} \\ \end{array} $$ (3)

      式中:$ {g}{(}{x,}{}{y}{)} $为重建全息图振幅分布;${\mathfrak{I}}_{{\rm{F}}}{(}{g}{)(}{\mu }{,}{}{\nu }{)}$为振幅分布的带通滤波傅里叶变换;$ \overline g $为重建全息图振幅分布的平均值。其中,SPEC[29, 33]可以通过度量图像中空间高频分量占比来量化再现像的清晰度;VAR[31, 34-35]通过计算再现像灰度起伏度来判断像面:聚焦图像中的强度起伏(清晰结构)比离焦图像大;GRA[31, 36-37]和LAP[31, 34]分别利用图像的一阶和二阶导数来判定图像的锐度。以上不同的锐度度量方法利用单幅全息图像便可获得样品的离焦距离。在具体操作中,利用以上评价函数计算样品在不同离焦距离处的锐度曲线,将曲线中全局极值处相对应的离焦距离作为最优调焦距离。通常根据样品特性的不同选择合适的度量函数以获得最佳的评价效果。具体而言,对于纯振幅样品,在聚焦平面上再现振幅图像的锐度判据函数达到最大值;而对于纯相位物体则相反。

      以USAF分辨率板作为纯振幅物体对四种常用的评价函数(SPEC、VAR、GRA、LAP)进行验证。实验中以1 cm为间隔计算了d在[−20 cm, 20 cm]范围内的样品再现像。图2(a)~2(c)为样品在离焦距离d=−4 cm、d=0 cm、d=4 cm时的再现振幅分布;图2(d)~(f)为样品在离焦距离d=−4 cm、d=0 cm、d=4 cm时的再现相位分布。从图中可以看出,在离焦情况下,振幅图像(图2(a)和2(c))及相位图像(图2(d)2(f))样品边缘结构模糊;在聚焦情况下,样品振幅图像(图2(b))和相位图像(图2(e))中样品边缘结构锐利。与此相对应,图2(g)中四种评价函数对应的归一化曲线在d=0 cm (即聚焦距离)处达到最大值。值得注意的是:VAR、SPEC、GRA和LAP这四种方法在调焦范围[−20 cm, 20 cm]均表现出单峰性和收敛性,证明这四种方法适合于纯振幅物体的自动调焦。

      图  2  振幅型样品的自动调焦。(a)~(c)样品在离焦距离d=−4 cm、d=0 cm、d=4 cm时的再现振幅分布;(d)~(f)样品在离焦距离d=−4 cm、d=0 cm、d=4 cm时的再现相位分布;(g)聚焦判据函数SPEC、VAR、GRA、LAP对应的评价函数曲线

      Figure 2.  Autofocusing of amplitude specimen. (a)-(c) Reconstructed amplitude images of the sample at the defocusing distance of d=−4 cm, d=0 cm, and d=4 cm; (d)-(f) Reconstructed phase images of the sample at the defocusing distance of d=−4 cm, d=0 cm, and d=4 cm; (g) Focusing metric curves calculated with different focusing criteria of SPEC, VAR, GRA, and LAP

      2008年Langehanenberg[32]等人利用透明胰腺肿瘤细胞PaTu 8988S[38]作为纯相位样品对四种常用的评价函数(SPEC、VAR、GRA、LAP)进行了验证。实验中样品略微离焦后在CCD上成像,以0.1 cm为间隔在[−15 cm, 15 cm]范围内进行自动调焦。实验结果如图3所示,图3(a)~3(f)显示了离焦和聚焦对重建结果的影响。图3(a)3(d)3(c)3(f)为离焦情况下重建的振幅图像和相对应的解包裹相位图像,而图3(b)3(e)为聚焦情况下的重建结果。可以看出,在图3(b)所示的聚焦情况下,重建振幅图像中的表面结构几乎消失,其对应的相位图像(图3(e))中则包含锐利的边缘结构。在离焦情况下,振幅分布中(图3(a)和3(c))都出现了衍射条纹,并且相对应的相位图像锐度较低,样品边缘结构模糊(图3(d)和3(f));同时,相比于振幅成像,相位成像能够更好得展现样品的细节信息,更有利于对样品的观测与研究。由此可以看出自动调焦技术在DHM对相位物体成像中具有较大的应用价值及意义。图3(g)为实验中四种评价函数对应的归一化曲线分布趋势,原理上在全局极值处为最佳调焦距离。从图中可以看出,在[−15 cm, 15 cm]的调焦范围内,四种评价函数都在相同的传播距离处达到最小值。相比之下,VAR在调焦范围内未满足单峰性准则;LAP在最佳聚焦距离处半高宽最窄,但该评价函数曲线中包含了多处局部极小值;SPEC和GRA在整个传播范围内均表现出单峰性,更适用于对纯相位样品的DHM成像的相关研究。

      图  3  相位型样品的自动调焦。样品在离焦距离d=(0.1−4.2) cm、d=0.1 cm、d=(0.1+4.2) cm时的再现振幅分布((a)~(c)),以及再现相位分布((d)~(f));(g)聚焦判据函数SPEC、VAR、GRA、LAP对应的评价函数曲线[32]

      Figure 3.  Autofocusing of phase specimen. The reconstructed amplitude images ((a)-(c)) and phase images ((d)-(f)) of the sample at the defocusing distance d=(0.1−4.2) cm, d=0.1 cm, and d=(0.1+4.2) cm; (g) Focusing metric curves corresponding to the focus criterion function SPEC, VAR, GRA, and LAP[32]

    • 2014年,Trujillo[39]等人提出了一种基于能量集中度的无透镜DHM自动调焦方法,该方法利用稀疏样品在像面时其能量(强度)分布最为集中(目标物体所占区域面积最小)这一特性来获得最佳聚焦距离。该方法的具体操作步骤如图4所示,首先,将不同离焦距离下所得再现像(振幅图像)沿轴向方向进行累加,从获得的二维图像中选定样品质心,如图4(a)所示。然后计算样品在不同离焦距离d下的再现像,并对以质心为中心的不同圆形区域内的能量(强度)进行积分;当能量积分(强度积分)不再随着圆形区域的直径增加而增加时,此时的圆域即为样品的“有效区域”。通过搜寻不同d下“有效区域”面积的最小值(区域中能量最为集中)确定聚焦平面,这时的d即为最优聚焦距离,如图4(b)所示。

      图  4  基于能量集中度的DHM自动调焦方法。(a)不同离焦距离下再现振幅图像的轴向投影;(b)不同离焦距离下的“有效区域”[40];(c)不同离焦距离处的草履虫的再现图像[39]

      Figure 4.  DHM autofocusing method based on energy concentration. (a) Axial projection of reconstructed amplitude images at different defocusing distances; (b) “Effective areas” at different defocusing distances[40]; (c) Reconstructed images of paramecium at different defocusing distances[39]

      Trujillo[39]等人利用波长为532 nm的球面波作为照明光,对草履虫进行了同轴数字全息成像,图4(c)展示了不同离焦距离处样品的振幅再现像,图中绿色正方形区域表示样品对应的“有效区域”。从图中可以看出,当重建距离d=1.5 mm时,样品的“有效区域”达到最小值(371 pixel),此时草履虫的再现图像更为清晰。需要说明的是,该方法在对不同区域进行能量积分(强度积分)时,考虑了距离点光源不同位置处所选封闭区域能量的变化遵循1/r2定律;同时,该自动调焦技术适用于尺寸范围在几十到几百微米的生物样品。不足之处在于,该技术会提高计算成本,降低计算速度且不适用于具有过于复杂内部结构的样品。

    • 2006年,Dubois[41]等人提出了一种基于振幅模量分析的自动调焦评价函数用于判断再现像所在平面是否是最佳聚焦平面。该评价函数的理论依据是:在最佳聚焦平面上,纯振幅物体的再现像振幅模量积分达到最小值,而纯相位物体的振幅模量积分达到最大值。对应每一离焦距离d,再现像的振幅模量积分为:

      $${M_d} = \int_{ - \infty }^\infty {\int_{ - \infty }^\infty {\left| {{u_d}(x,y)} \right|{\rm{d}}x{\rm{d}}y} } $$ (4)

      式中:Md是离焦距离为d时聚焦评价函数的标准值;ud(x, y)为重建平面的复振幅。

      实验中采用直径为5 μm的粒子和体外活细胞分别作为纯振幅样品和纯相位样品对上述理论进行实验验证。图5(a)图5(b)分别为纯振幅样品的离焦强度图像和自动调焦(d=55 μm)后再现的强度图像。该离焦距离d是通过图5(c)中评价函数达到最小值来确定的。而对于纯相位样品,在像面上时其强度分布的调制最低,如图5(e)所示。因此,其像面所对应的离焦距离由图5(f)中评价函数的最大值来确定。

      图  5  基于振幅模量分析的单色/彩色DHM自动调焦结果。直径为5 µm粒子的(a)离焦强度图像和(b)在焦强度图像(d=55 µm);一体外活细胞的(d)离焦相位图像和(e)在焦相位图像(d=−30 µm) ;藻类样品的(g)离焦RGB强度图像和(h)在焦RGB相位图像(d=253 µm);对应于(c)粒子、(f)体外活细胞、(i)藻类细胞的基于振幅模量的调焦评价函数[41, 45]

      Figure 5.  Autofocusing results based on amplitude modulus analysis with monochrome/color DHM. (a) Defocus intensity image and (b) in-focus intensity image (d=55 µm) of a particle with a diameter of 5 µm; (d) Defocus phase image and (e) in-focus phase image (d=−30 µm) of an in vitro living cell; (g) Defocus RGB intensity image and (h) in-focus RGB phase image (d=253 µm) of an algal cell; Amplitude modulus-based focusing evaluation function corresponding to (c) particle , (f) in vitro living cell , and (i) algae cell[41, 45]

      一般自动调焦技术在确定离焦距离时需要依次计算全息图在不同离焦距离处的再现像,重建过程非常耗时[42-43]。若在重建图像之前就能够有效获得最佳聚焦距离则会节省大量计算量并最终提高重建速度。为此,2007年Li等人[44]提出基于频域分析的振幅模量评价函数(频域L1范数),该技术无需完全对全息图进行重建,而是对样品复振幅傅里叶变换后在频域中对图像频谱进行计算,通过利用与实部和虚部相关联的重构对象频谱分量的L1范数来获得最佳聚焦距离。尤其是当采用极坐标系来计算频域L1范数时,可以将自动调焦速度提高两个数量级。

      此外,2014年Dohet-Eraly[45]等人将基于振幅模量的离焦量获取方法推广到彩色DHM。彩色DHM[46-50]采用多个波长的激光作为照明光,利用多个波长形成较长的“合成波长”,从而可以扩大对样品(例如,台阶状物体)的测量范围,同时也有利于解决连续性物体的相位解包裹问题。

      为了能使基于振幅模量的评价函数适用于彩色DHM,Dohet-Eraly等人利用红绿蓝三通道上Md的乘积作为评价函数:${{M}}_{{d}}^{{{\rm{RGB}}}}={{M}}_{{d}}^{{{\rm{R}}}}{{M}}_{{d}}^{{{\rm{G}}}}{{M}}_{{d}}^{{{\rm{B}}}}$。其中,${{M}}_{{d}}^{{{\rm{RGB}}}}$的曲线形状只是被拉伸而不受任何颜色平衡校正的影响,因而具有一定的鲁棒性。利用藻类细胞Odontella sp.作为相位物体,使用参考文献[46]中所示的DHM装置对基于彩色DHM振幅模量分析的自动调焦技术进行验证,实验结果如图5(g)~5(i)所示。通过傅里叶变换方法从RGB全息图中提取每种颜色的复振幅,其离焦强度分布如图5(g)所示,同时利用数值重建的方式沿光轴在一定范围内对不同聚焦平面进行重建,进而确定每个平面的评价标准${{M}}_{{d}}^{{{\rm{RGB}}}}$的数值,其结果如图5(i)中蓝色实线所示,从图中可以看出,该曲线在d=253 μm处达到最大值,与基于振幅模量分析的自动调焦技术类似,对于相位物体该评价函数在最大值处获得最佳重建距离,利用该距离对全息图进行数值重建后的相位图像如图5(h)所示,可以看出在样品区域具有锐利边缘和平坦背景,并且重建后的相位图像还包含了样品的颜色信息。因此,基于振幅模量的自动调焦技术可以应用于彩色DHM,同时相较于单色DHM,该技术不仅扩展了其应用范围,还提高了评价函数的测量精度。

      将基于振幅模量分析的评价函数应用于振幅型/相位型样品中,其评价函数曲线具有不同的变化趋势,这不利于对同时具有振幅和相位特性样品的观测与分析。为了解决以上问题,2014年Dubois[51]等人对其进行了改进:在评价函数中利用样品再现像复振幅与高通滤波函数的卷积代替原来的再现像复振幅,之后对所得分布进行振幅模量积分:

      $${M_{H,d}} = \int {{\rm{d}}{{\vec r}^{'}}\left| {(h \otimes {u_d})({{\vec r}^{'}})} \right|} $$ (5)

      式中:ud为离焦距离d处对应的再现像复振幅分布;h为高通滤波函数。改进之后,无论对振幅物体还是相位物体,当评价函数曲线达到全局最小值时,此时的离焦距离对应的再现平面即为样品的最佳聚焦平面。

      为了验证改进方法的可行性,实验中分别将藻类样品(相位型样品)和不透明小球颗粒(振幅型样品)注入内部尺寸为400 μm×400 μm的方形玻璃毛细管流通池中,并利用离轴DHM[52]对其进行成像,并将得到的基于振幅模量分析的评价函数Md曲线分布与经过高通滤波后的改进评价函数MH, d曲线分布进行对比,结果如图6所示。从图中可以看出,对于藻类样品(相位型样品),评价函数Md[41]MH, d随离焦距离d的变化呈现相反趋势,在聚焦平面上MH, d达到最小值,Md达到最大值。而对于不透明球形颗粒样品(振幅型样品),评价函数MdMH, d随离焦距离d的变化趋势相同,均在聚焦范围上存在全局最小值且最小值位置一致。值得注意的是,对于纯振幅样品两种评价函数的曲线在最小值附近的收敛速率相近,这说明评价函数MH, d适合于纯振幅物体,并且比评价函数Md鲁棒性更高。综上所述,基于高通滤波的振幅模量分析的评价函数可以适用于同时具备振幅和相位特性的物体,并且拥有相同趋势的评价函数曲线,是一种简洁且易于观测的自动调焦方式。

      图  6  DHM对藻类样品和不透明球形颗粒样品的自动调焦结果。(a)~(c)藻类样品的振幅模量、在最佳聚焦平面处(d=−68 µm)重建的经高通滤波后的强度图像/相位图像;(e)~(g)不透明球形颗粒样品的振幅模量、在最佳聚焦平面处(d=100 µm)重建的经高通滤波后的强度图像/相位图像;(d)和(h)分别为评价函数MH, dMd随重建距离d的变化曲线;(a)和(e)中比例尺为20 µm[51]

      Figure 6.  Autofocusing of an alga and an opaque spherical particle with DHM. (a)-(c) Modulus of the amplitude, the intensity of the reconstructed high-pass filtered amplitude and the unwrapped phase map of the algal at the focus plane (d=−68 µm), respectively; (e)-(g) Modulus of the amplitude, the intensity of the reconstructed high-pass filtered amplitude and the unwrapped phase map of the opaque spherical particle at the focus plane (d=100 µm), respectively; (d) and (h) are respectively the evolution of the criteria MH, d and Md as a function of the reconstruction distance d; the scale bar in (a) and (e), 20 µm[51]

    • 大多数自动调焦方法对目标物体焦平面所对应的距离进行预判时,都是通过寻找评价函数曲线的全局极值来获得最佳聚焦距离,但是当评价函数曲线中出现多个局部极值点时会对重建结果造成干扰[53]。基于此,为了同时实现对振幅/相位样品的评价函数曲线取全局唯一极值点来确定离焦距离,除了1.3小节中提到的改进方法,2014年Memmolo等人[54]提出菲涅尔衍射传播积分可用稀疏信号来表示,通过计算在不同离焦距离处再现像的稀疏度测量系数可实现自动调焦。该方法中的稀疏度测量系数称为基尼系数(Gini’s index, GI):

      $$GI\left\{ {\vec c(d)} \right\} = 1 - 2\sum\limits_{k = 1}^N {\frac{{{a_{[k]}}(d)}}{{{{\left\| {\vec c(d)} \right\|}_1}}}} \left(\frac{{N - k + 0.5}}{N}\right)$$ (6)

      式中:d为离焦距离;$ {\overrightarrow{a}}{=}{vec}{{}\{A\}{}} $$ \overrightarrow{{c}}{=}{vec}{{}\{C\}{}} $;vec{·}为矩阵列向量;AC分别为振幅分布和复振幅分布;‖·‖1为L1范数;当k=1,...,N时,$ {{a}}_{{[}{k}{]}} $为向量$ {\overrightarrow{a}} $的升序排序项,取值范围为[0, 1]。与TC(Tamura coefficient, TC)系数[53]类似,GI满足自动调焦单峰性标准,即GI系数在整个离焦距离范围内只有一个极值点(例如,对于相位物体最佳重建距离在曲线极小值处),且该极值点对应的距离为最佳重建距离。

      实验以小鼠细胞作为样品对该技术进行验证,利用波长为532 nm的激光对小鼠进行全息成像。采用离轴DHM的数字再现方法对样品振幅和相位图像进行再现。同时,分别通过基于GI系数[54]、TC系数[53]和能量(振幅模量)[41]的自动调焦方法来确定离焦距离。三种方法对应的评价函数曲线如图7(c)所示。前两种评价函数曲线在d=22.7 μm处达到最小值,而基于能量(振幅模量)的评价函数在该处达到最大值。在此离焦距离下,恢复的振幅和相位图像如图7(a)和7(b)所示。可以看出再现相位图像具有锐利边缘结构。由此可见,利用数字全息图的稀疏度作为评价标准,不仅可以得到准确的离焦距离,还将提高对全息样本的重建恢复性能。

      图  7  DHM对小鼠细胞的自动调焦成像。(a)GI评价函数极值点对应距离处(d=22.7 μm)的重建振幅图像;(b)相应离焦距离的重建相位图像;(c)三个评价函数(GI,TC,Energy)对应的评价函数曲线[54]

      Figure 7.  Autofocusing imaging of mouse cells with DHM. (a) Reconstructed amplitude image, calculated at a distance (d=22.7 μm) corresponding to the extreme point of GI; (b) Corresponding reconstructed phase image; (c) Three focusing curves associated with three focusing metrics (GI, TC, Energy)[54]

    • 以上介绍的离焦量获取方法均基于传统的DHM光路,即利用平行光照明样品形成物光,并与参考光进行干涉来记录全息图。下面将介绍基于特种照明光的DHM以及其离焦量数字获取方法。其中,所采用的特种照明方式包括:离轴照明、双波长照明、4π照明以及结构光照明。这些方法的共同特征是:利用物光在多元照明下的差异性作为判据来寻找像面,并消除传统自动调焦方法对样品类型的依赖性。

    • 2012年Gao等人[55]提出了一种基于双光束离轴照明的自动调焦方法:利用双光束离轴照明,结合偏振复用技术记录正交载频的全息图样。该方法通过单次曝光就能获得两个不同照明方向下的物光复振幅分布,并利用两者在不同再现平面的差异性确定离焦距离。

      基于离轴照明DHM的实验光路如图8所示,采用波长为632.8 nm的非偏振He-Ne激光器作为照明光源,通过偏振片P1后出射激光的偏振方向相对于x方向成45°。出射光束经过非偏振分光棱镜BS1后分成两束。在物光路中,光束经过BE1扩束准直后进入由分光棱镜(BS2−BS3)和反射镜(M2−M3)组成的马赫-泽德式结构中,位于结构两臂的偏振片P2和P3的偏振方向相互垂直,分别平行于xy方向。通过调节反射镜M2和M3将两束光的照明角设置为±θ1(θ1=0.1 rad)来形成离轴照明光束,两束光经过样品后被显微物镜MO和透镜L组成的望远镜系统所放大。参考光经过BE2扩束准直后,在分光棱镜BS4作用下与物光重合。通过调节BS4,使得参考光与两物光O1O2满足插图所示关系,形成的两组条纹方向正交的干涉图样被CCD所接收。

      图  8  基于离轴照明的自动调焦DHM装置。NF1~NF2,可调节中性衰减器;BS1~BS4,非偏振分光棱镜;BE1~BE2,扩束器;MO,40×/NA0.65的显微物镜;L,焦距为100 mm的消色差透镜[55]

      Figure 8.  Automatic focusing digital holographic microscope based on off-axis illumination. NF1 and NF2, neutral variable attenuators; BS1-BS4, nonpolarizing cube beam-splitters; BE1 and BE2, beam expanders; MO, microscope objective with magnification 40× and NA=0.65; L, achromatic lens with focal length fL=100 mm[55]

      图9(a)所示,在两束离轴光照明下,当重建平面为样品的聚焦像平面时,样品的两个像面相互重叠,当重建平面远离像平面时,两个像面彼此分离,随着距离的增加,其横向距离也在不断增大。利用此种性质可以作为确定样品像平面的聚焦标准,定义评价函数如下:

      图  9  基于离轴照明的DHM对矩形相位台阶的自动调焦成像。(a)离轴照明DHM原理图;(b)两束离轴照明光示意图;(c)~(f)在重建距离0 cm,−0.5 cm,−10 cm和−15 cm平面处的振幅A1~A2图像;(g)评价函数随重建距离的变化曲线;(h)重建相位分布(单位:2π),重建距离为−15 cm[55]

      Figure 9.  Autofocusing imaging of a microscopic rectangular phase-step with off-axis illumination based DHM. (a) Schematic of off-axis illumination of DHM; (b) Schematic of two off-axis illumination; (c)-(f) A1A2 in planes with the reconstruction distances d=0 cm, −0.5 cm, −10 cm, and −15 cm, respectively; (g) Focus criterion versus reconstructed distance; (h) Reconstructed phase distribution (unit: 2π) with d=−15 cm[55]

      $${\rm{Cri}}(d) = \frac{{{\rm{RMS}}\left\{ {{A_2} - {A_1}} \right\}}}{{{M_1}}} + \frac{{{\rm{RMS}}\left\{ {{\varphi _2} - {\varphi _1}} \right\}}}{{{M_2}}}$$ (7)

      式中:A1A2分别为两束物光的重建振幅;φ1φ2分别为两束物光的重建相位;RMS{·}表示均方根运算;M1M2表示加权因子。由评价函数可知,可通过寻找Cri(d)的最小值来确定聚焦平面的离焦距离。

      利用相位台阶作为样品进行实验验证,结果如图9所示。其中图9(c)~9(f)为当d为0 cm,−5 cm,−10 cm,−15 cm时重构得到的A1A2结果,从中可以看出当离焦距离d接近−15 cm时,A1A2的强度起伏最小。图9(g)d在−40~30 cm范围内利用评价函数计算所得的曲线,评价函数曲线最小值对应的d=−15 cm,与VAR方法得出的结果一致。用该距离重建得到的清晰、聚焦的样品相位图像如图9(h)所示。基于离轴照明的自动调焦方法可适用于同时具有振幅和相位特性的样品,只需单次测量便可得到最佳重建距离。此外,通过将不同照明方向下两个重建图像进行平均,可以抑制相干噪声。需要说明的是:由于该方法采用正交偏振的照明光,双折射现象也会导致两个不同照明方向的物光具有不同的相位分布,因此该方法不适用于双折射样品。

    • 光波的衍射传播过程与波长直接相关,当样品在两个不同波长的光波照明下成像,其图像只有在像面上差异最小。基于该原理,2012年Gao等人[56]提出了利用两个不同波长照明的DHM自动调焦方法。

      基于双波长照明的自动调焦装置如图10所示,波长为632.8 nm (红)的非偏振He-Ne激光和波长为514 nm (绿)的CW氩离子激光用作照明光源。照明光束经过分光棱镜BS1合束后同时被分作物光(O)和参考光(R)。在物光路中,红、绿照明光经扩束后同时照明样品,透过样品后两色物光被望远系统(MO-L)放大。在参考光路中,红、绿照明光被扩束准直成平行光。之后,物光和参考光经过分光棱镜BS2并实现合束,干涉形成的混合全息图被彩色CCD记录。利用彩色全息图中的RGB分量,分离出红绿两色离轴全息图。采用角谱理论可从各自离轴全息图中再现出与CCD平面距离为d的任意平面中红、绿两色物光波的复振幅。当再现平面为样品像面时,绿色物光波的重建振幅Ag (相位φg)与红色物光波的重建振幅Ar (相位φr)之间存在线性关系;由于衍射过程的波长依赖性,当重建平面远离像平面时,两色物光复振幅的差异会越来越大。因此,可以将两种光波归一化后振幅/相位之间的差值用作评价确定图像聚焦平面的标准,当采用以下代换后:A1=AgA2=Arφ1=φgφ2=φr,评价函数与公式(7)相同。利用该公式得到的评价函数曲线的最小值对应的平面即为样品的像面。该方法同样适用于振幅/相位样品,且能够通过单次曝光获得含双波长信息的全息图像,提高测量速度。

      图  10  基于双波长照明的自动调焦DHM装置。NF1~NF3,可变中性衰减器;MO,显微物镜(Mitutoyo M Plan Apo, 50×/NA0.55);L,焦距为175 mm的消色差双胶合透镜[56]

      Figure 10.  Automatic focusing digital holographic microscope based on dual wavelength illumination. NF1-NF3, variable neutral attenuator; MO, microscope objective (Mitutoyo M Plan Apo, 50×/NA0.55); L, achromatic doublet lens with focal length fL=175 mm[56]

      实验以相位台阶(70 μm×20 μm)作为样品,不同离焦距离d=0 cm,7.5 cm和15 cm处重建得到的振幅图像如图11(a)~(c)所示。通过计算d在−20~50 cm范围内变化时评价函数曲线获得最佳聚焦距离,结果如图11(d)所示,在d=15 cm时,曲线出现最小值,对应的离焦距离即为最优聚焦距离,在此距离下的红光物波相位分布如图11(e)所示,此时,相位台阶具有锐利的边缘结构。然而该评价函数不能用于对红光和绿光具有不同吸收或折射特性的样品;同时成像系统本身若存在色差也会降低最终数字调焦的准确性。值得注意的是,由于彩色CCD相机可以分离出红、绿、蓝三色全息图,因此该方法可以扩展为三色DHM的自动调焦,以实现实时、真彩色DHM成像。

      图  11  双波长DHM对矩形相位台阶的自动调焦成像。(a)~(c)样品在离焦距离d=0 cm,7.5 cm和15 cm处的重建振幅图像;(d)不同的离焦距离对应的评价函数曲线;(e) d=15 cm时红光照明下样品的重建相位分布[56]

      Figure 11.  Autofocusing imaging of a microscopic rectangular phase-step with two-wavelength DHM. (a)-(c) Reconstructed amplitude images of sample with d=0 cm, 7.5 cm, and 15 cm, respectively; (d) Focus criterion versus defocusing distance d; (e) Reconstructed phase distribution of the specimen for red light with d=15 cm[56]

    • 2017年Zheng等人[57]提出4π照明的数字全息显微技术(Opposite-view Digital Holographic Microscopy, OV-DHM)以及相应的自动调焦方法。利用4π结构从两侧照明样品,通过寻找两个物光波之间差异的最小值来准确确定样品像面。

      其装置原理如图12所示,实验装置基于共路萨格纳克(Sagnac)结构,由偏振分光棱镜PBS和两个反射镜(M1~M2)组成,从光纤1出射的激光被PBS分成具有不同偏振方向(水平/垂直)的两束偏振光,其中水平方向的偏振光沿顺时针方向通过萨格纳克(Sagnac)结构,竖直方向的偏振光沿逆时针方向通过萨格纳克(Sagnac)结构。反射镜M1和M2之间的望远系统(MO1-L3和MO2-L4)用于对放置在显微物镜(MO1和MO2)焦面处的样品进行放大成像。当两束照明光束以相反的方向照射样品后,出射的物光波(即O1O2)被望远镜系统放大,并经由分光棱镜BS与来自光纤2的参考光(R)重合。最后通过旋转偏振片P分别获得水平方向和竖直方向的线偏振光,同时干涉产生的全息图像被CCD记录。OV-DHM装置的独特点在于干涉产生的全息图(不同的偏振方向)具有相反的离焦距离,因而可以利用此特性确定聚焦平面,当重构的离焦距离d正确时,振幅|Or1|2和|Or2|2之差达到最小。故当采用以下代换后:A1=|Or1|2A2=|Or2|2,仍然可以采用公式(7)作为其评价函数。需要说明的是,这里仅使用振幅项,依旧可以准确地找到最佳聚焦平面。由评价函数可知,可以通过寻找其最小值确定聚焦平面的最佳重建距离。

      图  12  OV-DHM装置示意图。BS,分光棱镜;L1~L4,消色差透镜;MO1~MO2,显微物镜;M1~M2,反射镜;P,偏振片;PBS,偏振分光棱镜;O1O2,分别沿水平方向(0°)和竖直方向(90°)的线偏振物光波;R,具有45°方位角的线偏振参考光[57]

      Figure 12.  Experimental setup of opposite-view digital holographic microscopy (OV-DHM). BS, beamsplitter; L1-L4, achromatic lenses; MO1 and MO2, microscopic objectives; M1 and M2, mirrors; P, polarizer; PBS, polarization-maintaining beamsplitter; O1 and O2, object waves linearly polarized along horizontal (0°) and vertical (90°) directions, respectively; R, reference wave linearly polarized at an azimuth of 45°[57]

      实验中以HeLa细胞作为样品进行了OV-DHM记录与再现,其结果如图13所示,其中图13(a)为通过旋转偏振片P获得的物光波O1O2的全息图,经过公式(7)计算得到的评价函数曲线分布如图13(b)所示,评价函数在d=−180 μm时最小,在此离焦距离d下,重建得到HeLa细胞的振幅和相位图像分别如图13(c)~13(d)所示。相较于其他基于照明调制的DHM离焦量数字获取方法的评价函数曲线,OV-DHM技术评价函数曲线具有良好的单峰性和收敛性,能够较好地实现自动调焦功能;此外还可以通过对两个物波求平均值来消除散斑噪声[55],进而为细胞动态生命过程的测量提供更好观测效果;不仅如此,该技术也可以通过合并两个离轴传播的物光波的频谱来合成更大的频谱,从而提高OV-DHM的横向和纵向分辨率[55, 58-59]

      图  13  OV-DHM对HeLa细胞的自动调焦成像。(a)物光波O1O2的全息图,插图为白色虚线框内区域的放大显示;(b)所提方法计算得到的评价函数曲线;(c)和(d)分别为对物光波O1重建的振幅和相位图像;(c)中的比例尺为45 μm[57]

      Figure 13.  Autofocusing imaging of HeLa cells with OV-DHM. (a) Holograms of the two object waves O1 and O2 and the insets show the zoomed rectangular areas within the white close-ups in (a). (b) Focus criterion curves calculated with the proposed method; (c) and (d) are reconstructed amplitude and phase images of the object wave O1; the scale bar in (c), 45 μm[57]

    • 结构光照明显微(Structured Illumination Microscopy, SIM)技术,利用周期性条纹照明样品,通过记录样品和照明条纹间形成的摩尔条纹,可以实现超分辨成像[60-61]。然而,传统的SIM仅仅用于荧光样品或对照明光具有吸收的样品。DHM利用光学干涉可以实现对透明样品的高衬度、定量化相位成像,但传统的DHM采用平行光照明,其空间分辨率受到物镜数值孔径的限制,不能完全满足生物医学对细胞超精细结构观测的需求。2013年Gao[58]等人将结构光照明和DHM相结合,实现了对透明样品的超分辨相位成像,同时还实现了DHM的自动调焦功能。

      基于结构光照明DHM的光路图如图14所示,通过空间光调制器(Spatial Light Modulator, SLM)对照明光进行调制在视场的左半平面产生条纹结构光,并经过L3-MO1缩束后照明样品。样品放置于成像视场的左半平面(形成物光),而视场的右半平面被空置(用作参考光)。经过望远系统MO2-L4放大后,物光和参考光被一个二维光栅(Grating)所衍射。物光的+1级衍射光与参考光的−1级衍射光在CCD平面相遇并发生干涉,形成的离轴数字全息图被CCD所记录。通过依次在SLM上加载四个方向(互成90°夹角)的结构光,并且每个方向下的结构光依次进行三步相移(相移量分别为2π/3);由CCD记录不同结构光照明下形成的12幅全息图。最后通过对这些全息图进行数字再现,将不同方向结构照明下的物光在频谱面上合成,实现对微小物体的振幅和相位的超分辨成像。利用空间光调制器产生结构照明,不但可以实现不同结构照明的快速切换,而且避免了传统机械切换带来的运动误差。

      图  14  基于结构光照明的DHM。(a)装置示意图;L1-L2,用于扩束的望远镜系统;L3-MO1,用于在物体上投射图案的望远镜系统;MO2-L4和L5-L6,用于放大物光和参考光并将它们传播到CCD的望远镜系统;(b)空间光调制器上加载的四组条纹图案;(c)全息图频谱,原始图像包含物光波的三个衍射级,即零级和正负一级[58]

      Figure 14.  DHM with structured illumination. (a) Schematics of the DHM setup with structured illumination; L1-L2, telescope system for expanding the beam; L3-MO1, telescope system for projecting the pattern on the object; MO2-L4 and L5-L6, telescope systems for magnifying the object and reference waves, and relaying them to the CCD; (b) Four groups of fringe patterns loaded in the SLM; (c) Frequency spectrum of the generated hologram where the primary image is composed of three copies of the object waves, generated by the 0th, 1st, and -1st orders of the illumination, respectively[58]

      该方法在提高相位成像分辨率的同时,还可以实现自动调焦。其自动调焦的原理在于:结构光照明可以看作沿不同方向传播的平面波(结构光的0、±1衍射光)的叠加。样品在结构光的照明下,形成三个独立的物光分别沿着结构光的0、±1级衍射光方向传播。它们的再现像只在像面上才会重合[55]。方便起见,将在第m个方向结构光照明下的物光分解为Om,0(d, x, y)、Om, +1(d, x, y)和Om, −1(d, x, y),分别沿着结构光的0、±1衍射光方向传播。当这些物光分量之间差异最小时,此时对应的平面即为样品的像面。因此,可以利用这一特征来定义评价函数:

      $$\begin{split} {\rm{Cri}}(d) =& \dfrac{{\displaystyle\sum\nolimits_{m = 1}^4 {{\rm{RMS}}\left\{ {\left| {{O_{m, + 1}}} \right| + \left| {{O_{m, - 1}}} \right| - 2\left| {{O_{m,0}}} \right|} \right\}} }}{{{M_O}}} +\\ &\dfrac{{\displaystyle\sum\nolimits_{m = 1}^4 {{\rm{RMS}}\left\{ {{\varphi _{m, + 1}} + {\varphi _{m, - 1}} - 2{\varphi _{m,0}}} \right\}} }}{{{M_\varphi }}} \end{split}$$ (8)

      式中:RMS{·}表示均方根运算。φm, +1φm, −1φm, 0分别是Om, +1(d, x, y),Om, −1(d, x, y)和Om, 0(d, x, y)的相位分布。MOMφ是加权因子。与前面几种基于不同照明调制的评价函数类似,由公式(8)计算的评价函数曲线的最小值所对应的离焦距离即为样品的最佳聚焦距离。该自动调焦机制不依赖于被测样品本身的特性和其他先验知识,这一特性使得该方法能同时适用于振幅型和相位型物体。

      以刻蚀有图像样品的纯透明玻璃平板作为样品进行验证,实验结果如图15所示。从图15(a)中可以看出:所提出的评价函数和基于VAR的锐度判据函数均在d=3.2 cm处取得全局最小值。利用该值可再现出清晰的相位图像,如图15(b)所示。因此,结构光照明和DHM相结合,能够在对透明样品成像的同时实现分辨率提高和自动调焦功能。

      图  15  基于结构光照明DHM的自动调焦成像。(a)基于VAR的锐度评价函数[24]和所提方法的评价函数曲线;(b)利用聚焦距离(d=3.2 cm)重建的相位(radiants/2π)图像[58]

      Figure 15.  Autofocusing imaging of DHM with structured illumination. (a) Focus criterions curves of the amplitude variation (VAR) based approach and the proposed method; (b) Reconstructed phase (radiants/2π) with reconstruction distance (d=3.2 cm)[58]

    • DHM具有快速、无损、高衬度、可定量化相位成像等优点,目前被广泛地应用于多种领域。同时,自动调焦技术的出现使其能够通过单次曝光实现对待测样品的准确定位聚焦,为观测透明/半透明样品动态过程提供便利。DHM中自动调焦技术的应用主要可粗浅地归为以下几类:(1)单细胞成像、识别、追踪;(2)生物组织三维成像;(3)环境监测中粒子追踪,如图16所示。

      图  16  DHM自动调焦技术的应用

      Figure 16.  Applications of automatic focusing technology in digital holographic microscopy

    • 细胞是生命活动的最小结构单元,对细胞的高分辨成像对于认知细胞的生命过程具有重要参考价值。大多数细胞在可见光范围内是无色透明的,光波在穿过细胞后其振幅不会发生明显变化,这导致在传统光学显微镜下透明细胞的成像对比度极低。利用DHM不仅可以高衬度地观测透明细胞,还可以定量获得细胞的三维形貌或折射率分布等信息。在DHM成像中,尤其是长时间跟踪观测过程中,由于环境扰动(如温度波动、机械振动)或活细胞的运动经常导致离焦现象,这无疑影响了对细胞的高衬度成像。DHM中的自动调焦技术,通过数值运算获得离焦距离,并利用该距离对全息图进行实时再现获得清晰图像(振幅/相位信息),巧妙地解决了该问题。Kemper[62]等人利用透射式DHM对人体红细胞(RBC)进行了跟踪成像,通过自动调焦技术实时获得清晰的再现相位图像,最终定量获得了红细胞形态以及厚度分布等信息。除此之外,自动调焦技术还可以实现多焦点成像—对样品中不同轴向位置的多个物体同时进行聚焦成像,并从最终的再现图像中获得不同物体在z方向上的相对距离。Langehanenberg[63]等人将透射式DHM和自动调焦技术相结合,从单张全息图中得到了不同焦平面的再现图像,基于此研究了细胞培养基中胰蛋白酶作用下PaTu 8988S细胞的存活情况,如图17所示。

      图  17  DHM对悬浮细胞的多焦点自聚焦成像。(a)三个胰腺肿瘤细胞(PaTu 8988S)在不同焦平面上的数字全息图,标记为ABC;(b)从(g)~(i)中聚焦部分合并的放大相位分布图像;(c)在(a)图中方框的区域对应的聚焦评价函数;(d)~(f)在方框区域(ROI)在不同离焦距离下的再现振幅分布;(g)~(i)对应于(d)~(f)对应的相位图像[63]

      Figure 17.  Multi-focus autofocusing imaging of cells in suspension with DHM. (a) Digital hologram of three pancreas tumor cells (PaTu 8988S) in different focal planes denoted as A, B, C; (b) Merged phase image using the sub-images from the sharply focused parts in (g)-(i); (c) Focus criterion curves for the retangle areas marked with boxes; (d)-(f) Amplitude distributions of the cells for different propagation distances in the region of interests (ROIs) marked with boxes; (g)-(i) Phase contrast images corresponding to (d)-(f)[63]

    • 在生物医学领域中对不同细胞的精确成像与识别将为药物筛选和疾病治疗提供有益参考。DHM结合自动调焦技术,不仅可以对透明样品进行高精度相位成像[64-72],而且可以聚焦到任意轴向平面[72],以得到三维信息[65-66, 70-72]。例如,通过获得的细胞厚度信息以及其它不同特征,可用于识别细胞种类或健康状态;Anand[73]等人利用DHM结合自动调焦技术分别对健康红细胞和感染疟疾的红细胞进行成像与观测,通过对两种细胞形状轮廓的对比并结合相关函数将健康和疟疾感染的红细胞进行了自动识别区分,实验结果如图18所示。Taesik-Go[74]等人将同轴DHM的自动调焦技术与机器学习相结合,对盘状红细胞、棘状红细胞和球形红细胞进行了自动识别与区分,这将有助于在临床上检测异常红细胞和计算机辅助诊断血液系统疾病。Singh[75]等人采用同轴DHM结合自动调焦技术对流经微通道的每个细胞进行了识别,通过特征提取(大小、最大强度和平均强度)从红细胞、外周血单核细胞和肿瘤细胞中区分识别出了肿瘤细胞,进而实现了对肿瘤细胞的鉴定。

      图  18  DHM对红细胞的自动调焦成像。(a)健康红细胞在x-z平面的剖面图;(b)健康红细胞在不同轴向平面的相位图像;(c)疟疾感染的红细胞在x-z平面的剖面图;(d)疟疾感染的红细胞在不同轴向平面的的相位图像[73]

      Figure 18.  Autofocusing imaging of a red blood cell (RBC) with DHM. (a)x-z sectioned image of a health RBC; (b) Phase images of a healthy RBC obtained at various axial distances; (c) x-z sectioned image of a malaria-infected RBC; (d) Phase images of a malaria-infected RBC obtained with various defocusing distances[73]

    • 细胞追踪为了解生物细胞增殖、分化、迁移以及其他正常生理过程提供了独特的分析方式;同时,还能够对生物细胞的运动特征(如速度、方向)进行测量。如前所述,将DHM和自动调焦技术相结合能够确定任意细胞的三维空间的位置坐标,进而获得细胞在空间中的三维运动轨迹,为细胞追踪提供了一种高精度的成像定位手段。Kemper[76]等人利用该技术测量了胶原蛋白中的小鼠成纤维细胞(3T3)的三维迁移运动轨迹,以及在迁移过程中细胞的形貌和厚度的变化,结果如图19所示。Lee[77]等人利用同轴DHM结合自动调焦技术研究了微型原甲藻在近壁区域的三维运动特征,分析了微型原甲藻与固体壁之间的相互作用对其游泳特征如螺旋参数、方向和对壁的吸引力等的影响。Taesik-Go[78]等人在同轴DHM的基础上结合自动调焦技术,研究了矩形微通道中粘弹性流体流动引起的人类红细胞的横向迁移过程,通过分析细胞的形变和流体流速对细胞运动状态的影响以及不同细胞在通道侧壁倾角的不同用以追踪正常红细胞和和硬化红细胞,进而可以对红细胞形变异常引起的血液疾病进行初步无标记诊断。

      图  19  DHM对细胞迁移的三维追踪成像。(a)胶原蛋白中成纤维细胞的3D迁移检测;第一行,明场图像(白光照明);第二行和第三行,DHM获得的相位图像;其中A为红色方框标记的细胞,B为绿色方框标记的细胞;(b) AB两个细胞的3D追踪轨迹[76]

      Figure 19.  3D tracking of cells during their migration with DHM. (a) 3D migration monitoring of fibroblasts in collagen; First row, bright-field images (white light illumination); second and third row, phase images obtained with DHM; A and B indicate the two cells marked with the red and green boxes, respectively; (b) 3D trajectories of the two cells marked with A and B[76]

    • 自然界的微型生物大都具有十分精细的内部结构和组织,这些内部结构和组织尺寸一般在几十到几百微米的范围内。对这些微生物三维精细结构及内部组织进行成像对于了解微型生物的复杂生命动态过程具有重要意义。Faridian[79]等人利用基于散斑照明的DHM并结合自动调焦技术,对海胆幼虫进行高衬度、三维成像,获得了d=19.9 μm、d=9.65 μm、d=−3.1 μm、d=−34.4 μm轴向平面上海胆幼虫的精细结构,分别如图20(a)~20(d)所示,该研究将有助于推动对生物精细结构研究的发展。Trujillo[39]等人利用无透镜DHM结合自动调焦技术实现了对果蝇头部三维内部结构的观测,相较于其他光学测量技术,数字全息通过对轴向不同平面进行逐次聚焦成像,可以观测到更多的细节信息,这对了解果蝇头部结构及其机理有着重要意义。Zhang[80]等人利用基于偏振光栅的点衍射DHM结合自动调焦技术实现了对草履虫动态运动的实时观测,记录了其螺旋运动及其内部食物泡的运输过程。Faridian[81]等人还利用暗场DHM实现了对果蝇胚胎结构的高衬度、高精度观测,借助此观测手段有望了解果蝇胚胎发育过程中内部结构的变化,将对揭示果蝇胚胎发育机理有着十分重要的意义。

      图  20  DHM对海胆幼虫的自动调焦成像。(a)~(d)聚焦距离为19.9 μm、9.65 μm、−3.1 μm、−34.4 μm时对应的再现强度图像[79]

      Figure 20.  Autofocusing imaging of a larva of sea urchin with DHM. (a)-(d) Corresponding reconstructed intensity images at a focusing distance d=19.9 μm, d=9.65 μm, d=−3.1 μm, and d=−34.4 μm[79]

    • 为解释和粒子相关的动力学现象,实现对颗粒形貌、粒径、空间浓度等特性进行精确测量,需要一种能够对粒子进行高衬度成像与实时追踪的成像方法。DHM与自动调焦技术相结合,通过对立方毫米量级内的多个粒子进行单独自动调焦可实现对微观粒子的三维观测与追踪。Restrepo[40]等人提出一种高分辨无透镜DHM技术,通过双特征法寻找最佳聚焦平面,最终实现了对4 mm3苏打水样品中的微米级气泡的三维成像与自动追踪。Yao[7]等人通过基于高速数字全息的燃烧颗粒测试系统观察了燃烧过程中竹粉颗粒形貌变化和颗粒破碎等现象,并对颗粒的三维轨迹进行了追踪,如图21所示。统计分析结果发现,在不同高度下,燃烧后粒子的粒径和速度呈现差异,这将对了解有机质燃烧的物理过程以及对污染物的控制研究具有十分重要的意义。Yu[82]等人利用离轴DHM和基于峰值搜索的数字自动调焦算法对悬浮液中的多个聚合微球实现了同步聚焦成像,从而定量获得了不同轴向深度的聚合微球的3D位置信息。

      图  21  DHM对竹粉全息图颗粒的自动调焦成像。(a)记录的全息图;(b1)~(b2) d=−2.5 mm、d=3.2 mm处放大区域的重建图;(b3)景深拓展图;(c)完整的景深拓展图;(d)竹粉颗粒的三维分布;比例尺为1 mm [7]

      Figure 21.  Autofocusing imaging of bamboo power with DHM. (a) Recorded hologram; (b1)-(b2) Reconstructed images of magnified region at d=−2.5 mm and d=3.2 mm; (b3) Depth-of-field extended image; (c) Depth-of-field extended image of full hologram; (d) 3D distribution of the bamboo-power particles; scale bar, 1 mm[7]

    • 如何利用3D可视化技术获得空气和流体中的粒子的动态运动,对于科学和工程领域具有重要意义,因此有必要通过多种成像手段来观测这些现象[83-85]。其中,DHM因其具有可自动调焦的能力成为获取粒子3D位置信息的理想技术[40, 86-87]。Byeon[88]等人利用DHM技术,通过使用基于图像锐度的聚焦函数来获得每个粒子的轴向位置,并通过重构图像实现了对透明椭圆粒子的识别和3D轨迹追踪测量。Taesik-Go[89]通过将基于PTV算法的自动调焦技术与同轴DHM相结合,研究了PM颗粒在半空中的沉降运动,准确识别了PM颗粒并检测其3D沉降轨迹,以及其速度信息,如图22所示。这些研究将对分析悬浮在流体中颗粒的动力学行为等领域具有指导意义。Byeon[90]等人利用基于双目立体视觉的DHM研究了微尺度颗粒的3D信息,通过搜索重叠的重建体积的中心来确定粒子的3D位置信息,成功获得了悬浮在流体中运动颗粒的3D信息。需要说明的是,该技术不仅仅适用于理想球形颗粒,而且适用于非球形颗粒(如椭圆形颗粒)。这些研究将对分析悬浮在流体中不同粒子的动力学行为等领域具有指导意义。此外,通过对粒子的三维体积进行数字切片再现可以获得粒子的3D运动方向和复杂形状,该技术将为研究不同形貌颗粒的3D运动动态行为提供有力的观测手段。

      图  22  DHM对空气中PM颗粒的三维追踪成像。(a)实验装置示意图;(b)空气中沉降的PM颗粒的3D运动轨迹,沉降速度用彩色编码;(c)测量得到的沉降速度随PM颗粒尺寸的变化及与理论轮廓的对比[89]

      Figure 22.  3D tracking imaging of PM particles in air by DHM. (a) Schematic of experimental setup; (b) 3D trajectories of settling PMs in air with color-coded settling speed; (c) Variation of the measured settling velocity according to PM size and comparison with theoretical profile[89]

    • DHM是数字全息技术在显微领域的延伸,为微观物体的三维形貌、透明物体的厚度/折射率分布提供了一种快速、无损测量手段。该技术结合自动调焦技术,还可以避免机械调焦精度低、耗时长等缺点,为运动物体或动态过程的跟踪观测和实时干预提供了有力手段。随着相关技术的不断完善,自动调焦技术呈现多样性发展态势。根据离焦量获取方式的不同,文中着重介绍了基于锐度度量、能量集中度、振幅模量分析、稀疏度测量以及不同照明调制的离焦量获取方法。

      基于锐度度量分析的离焦量获取方法,对于纯振幅样品,其评价函数在像面处出现极大值;对于纯相位型样品,其评价函数在像面处出现极小值。基于振幅模量分析的离焦量获取方法具有类似特性:在最佳聚焦平面上,对于纯振幅物体的再现像振幅模量积分达到最小值,而纯相位物体的振幅模量积分达到最大值。这些方法虽然对于纯振幅或纯相位样品均具有良好的单峰性,但是需要根据不同类型的样品寻找相应的极值来获得最佳的聚焦距离。此外,这两类自动调焦技术在恢复过程中需要依次计算不同距离下的再现图像,耗时较长。

      为了解决以上两个缺点,近年来学者对基于振幅模量分析的离焦量获取方法进行了改进:(1)基于频域分析的振幅模量评价函数(频域L1范数),通过在频域计算评价函数,有效减小计算量并节省计算时间。(2)通过将高通滤波器与物体的复振幅进行卷积引入到振幅模量分析中,使得改进后的评价函数对于振幅/相位样品产生的评价曲线具有相同的变化趋势。(3)基于振幅模量的离焦量获取方法由单色DHM被扩展到彩色DHM来扩展其应用范围。

      基于能量集中度的离焦量获取方法利用稀疏样品在像面时其能量分布最为集中(目标物体所占区域面积最小)的特性来获得最佳聚焦距离。该方法虽可以实现对尺寸范围为几十到几百微米的稀疏物体进行自动调焦,但计算量过大,耗时长,且不适合于具有复杂结构的样品。基于稀疏度测量的离焦量获取方法,将菲涅耳衍射积分可用稀疏信号来表示,通过计算在不同离焦距离处再现像的稀疏度测量系数可以实现获得最佳离焦距离。该方法获得的评价函数曲线只有一个全局极值点,因此可以准确无误地获得聚焦距离。

      基于离轴照明、双波长照明、4π照明、结构光照明的的DHM离焦量获取方法,通过利用样品在多元照明下的再现像的差异性作为判据来寻找像面,可以消除传统自动调焦方法对样品类型的依赖性。这些方法在对物体实现自动调焦的同时还具有降低散斑噪声和离焦背景以及提高空间分辨率的优势。

      综上所述,文中涉及的自动调焦技术各有优点和缺点,针对不同的样品类型选择不同的评价函数可以达到最佳的检测效果。DHM自动调焦技术的出现使DHM能够通过单次曝光实现对待测样品的准确定位聚焦,为观测透明/半透明样品动态过程提供便利。目前该技术被广泛应用于单细胞成像、识别、追踪;生物组织三维成像;环境监测中粒子追踪等诸多方面。今后,自动调焦技术将会朝着不局限于样品特性、计算量小、计算速度快、重构精度高等方向飞速发展。尤其是随着计算机技术和人工智能的不断推广,自动调焦的速度和准确性将会达到进一步的提升。

参考文献 (90)

目录

    /

    返回文章
    返回