Volume 51 Issue 8
Aug.  2022
Turn off MathJax
Article Contents

Pei Xiangcan, Luo Shiqi, Shan Haoming, Xie Xiangsheng. Model development and applications extension of the shower-curtain effect (invited)[J]. Infrared and Laser Engineering, 2022, 51(8): 20220299. doi: 10.3788/IRLA20220299
Citation: Pei Xiangcan, Luo Shiqi, Shan Haoming, Xie Xiangsheng. Model development and applications extension of the shower-curtain effect (invited)[J]. Infrared and Laser Engineering, 2022, 51(8): 20220299. doi: 10.3788/IRLA20220299

Model development and applications extension of the shower-curtain effect (invited

doi: 10.3788/IRLA20220299
Funds:  National Natural Science Foundation of China (12074444);Basic and Applied Basic Research Foundation of Guangdong Province(2021A1515012050);Education Department of Guangdong Province(2018KCXTD011)
  • Received Date: 2022-04-28
  • Rev Recd Date: 2022-06-28
  • Available Online: 2022-08-31
  • Publish Date: 2022-08-31
  • Imaging techniques such as speckle correlation and wavefront modulation are efficient and important to overcome the scattering effect caused by inhomogeneous media. However, the field of view of these techniques is limited, and the dynamic scattering media degrades the image quality due to the dependence on the memory effect. The shower-curtain effect is a common effect that is not limited by the field of view and the dynamic scattering medium. In recent years, with the development of various computational imaging techniques, the shower-curtain effect has been applied to different scattering scenes to overcome the scattering effect, combined with other imaging recovery methods, and has shown some unique advantages compared with traditional scattering imaging techniques. This paper summarizes the evolution of the physical model of the shower-curtain effect based on the modulation transfer function, analysing the influence of optical depth and aperture sizes. The applications of the shower-curtain effect and the Fourier domain shower-curtain effect in the field of scattering imaging are depicted. The difference and relationship between the Fourier domain shower curtain effect and other imaging techniques based on a phase iterative algorithm are discussed, and the possibility of combination with other computational imaging techniques is proposed.
  • [1] Bashkatov A N, Genina E A, Tuchin V V. Optical properties of shin, subcutaneous, and muscle tissues: a review [J]. Journal of Innovative Optical Health Sciences, 2011, 4(1): 9-38. doi:  10.1142/S1793545811001319
    [2] Wiersma D S. Disordered photonics [J]. Nature Photonics, 2013, 7(3): 188-196. doi:  10.1038/nphoton.2013.29
    [3] 朱磊, 邵晓鹏. 散射成像技术的研究进展[J]. 光学学报, 2020, 40(1): 83-97. doi:  10.3788/AOS202040.0111005

    Zhu L, Shao X. Research progress on scattering imaging technology [J]. Acta Optica Sinica, 2020, 40(1): 0111005. (in Chinese) doi:  10.3788/AOS202040.0111005
    [4] 金欣, 王枭宇, 杜东宇, 等. 散射成像研究现状及展望[J]. 激光与光电子学进展, 2021, 58(18): 1811002. doi:  10.3788/LOP202158.1811002

    Jin X, Wang X, Du D, et al. Progress and prospect of scattering imaging [J]. Laser & Optoelectronics Progress, 2021, 58(18): 1811002. (in Chinese) doi:  10.3788/LOP202158.1811002
    [5] 谢向生, 刘忆琨, 梁浩文, 等. 散斑相关成像: 从点扩展函数到光场全要素[J]. 光学学报, 2020, 40(1): 71-82. doi:  10.3788/AOS202040.0111004

    Xie X, Liu Y, Liang H, et al. Speckle correlation imaging from point spread functions tolight field plenoptics [J]. Acta Optica Sinica, 2020, 40(1): 0111004. (in Chinese) doi:  10.3788/AOS202040.0111004
    [6] 张润南, 蔡泽伟, 孙佳嵩, 等. 光场相干测量及其在计算成像中的应用[J]. 激光与光电子学进展, 2021, 58(18): 1811003. doi:  10.3788/LOP202158.1811003

    Zhang R, Cai Z, Sun S, et al. Optical-field coherence measurement and its applications in computational imaging [J]. Laser & Optoelectronics Progress, 2021, 58(18): 1811003. (in Chinese) doi:  10.3788/LOP202158.1811003
    [7] 李琼瑶, 扎西巴毛, 陈子阳, 等. 激光通过不同厚度的强散射介质的聚焦[J]. 光学学报, 2020, 40(1): 237-242. doi:  10.3788/AOS202040.0111016

    Li Q, Zhaxi B, Chen Z, et al. Focusing of laser through strong scattering media with different thicknesses [J]. Acta Optica Sinica, 2020, 40(1): 0111016. (in Chinese) doi:  10.3788/AOS202040.0111016
    [8] 李修建, 唐武盛, 衣文军, 等. 宽视场远距离光学散射成像技术研究进展[J]. 中国激光, 2021, 48(4): 207-222. doi:  10.3788/CJL202148.0401012

    Li X, Tang W, Yi W, et al. Review of optical scattering imaging technology with wide field of view and long distance [J]. Chinese Journal of Laser, 2021, 48(4): 207-222. (in Chinese) doi:  10.3788/CJL202148.0401012
    [9] Wang K, Sun W, Richie C T, et al. Direct wavefront sensing for high-resolution in vivo imaging in scattering tissue [J]. Nature Communication, 2015, 6(1): 1-6.
    [10] Huang D, Swanson E A, Lin C P, et al. Optical coherence tomography [J]. Science, 1991, 254(5035): 1178-1181. doi:  10.1126/science.1957169
    [11] Yaqoob Z, Psaltis D, Feld M S, et al. Optical phase conjugation for turbidity suppression in biological samples [J]. Nature Photonics, 2008, 2(2): 110-115. doi:  10.1038/nphoton.2007.297
    [12] Ma C, Xu X, Liu Y, et al. Time-reversed adapted-perturbation (TRAP) optical focusing onto dynamic objects inside scattering media [J]. Nature Photonics, 2014, 8(12): 931-936. doi:  10.1038/nphoton.2014.251
    [13] Yang J, Li J, He S, et al. Angular-spectrum modeling of focusing light inside scattering media by optical phase conjugation [J]. Optica, 2019, 6(3): 250-256. doi:  10.1364/OPTICA.6.000250
    [14] Qiao M, Liu H, Han S. Bidirectional image transmission through physically thick scattering media using digital optical phase conjugation [J]. Optics Express, 2018, 26(25): 33066-33079. doi:  10.1364/OE.26.033066
    [15] Yu Y W, Sun C C, Liu X C, et al. Continuous amplified digital optical phase conjugator for focusing through thick, heavy scattering medium [J]. OSA Continuum, 2019, 2(3): 703-714. doi:  10.1364/OSAC.2.000703
    [16] Wang Y M, Judkewitz B, DiMarzio C A, et al. Deep-tissue focal fluorescence imaging with digitally time-reversed ultrasound-encoded light [J]. Nature Communication, 2012, 3(1): 928. doi:  doi.org/10.1038/ncomms1925
    [17] Zhao L, Yang M, Jiang Y, et al. Optical fluence compensation for handheld photoacoustic probe: An in vivo human study case [J]. Journal of Innovative Optical Health Sciences, 2017, 10(04): 1740002. doi:  10.1142/S1793545817400028
    [18] Velten A, Willwacher T, Gupta O, et al. Recovering three-dimensional shape around a corner using ultrafast time-of-flight imaging [J]. Nature Communication, 2012, 3(1): 1-8.
    [19] Satat G, Heshmat B, Raviv D, et al. All photons imaging through volumetric scattering [J]. Scientific Reports, 2016, 6: 33946. doi:  doi.org/10.1038/srep33946
    [20] Baek Y, Lee K, Park Y. High-resolution holographic microscopy exploiting speckle-correlation scattering matrix [J]. Physical Review Applied, 2018, 10(2): 024053. doi:  10.1103/PhysRevApplied.10.024053
    [21] Zhuang B, Xu C, Geng Y, et al. An early study on imaging 3 d objects hidden behind highly scattering media: a round-trip optical transmission matrix method [J]. Applied Sciences, 2018, 8(7): 1036. doi:  10.3390/app8071036
    [22] Popoff S M, Lerosey G, Carminati R, et al. Measuring the transmission matrix in optics: an approach to the study and control of light propagation in disordered media [J]. Physical Review Letters, 2010, 104(10): 100601. doi:  10.1103/PhysRevLett.104.100601
    [23] Popoff S M, Lerosey G, Fink M, et al. Image transmission through an opaque material [J]. Nature Communication, 2010, 1(1): 1-5.
    [24] Hong P, Ojambati O S, Lagendijk A, et al. Three-dimensional spatially resolved optical energy density enhanced by wavefront shaping [J]. Optica, 2018, 5(7): 844-849. doi:  10.1364/OPTICA.5.000844
    [25] He H X, Guan Y F, Zhou J Y. Image restoration through thin turbid layers by correlation with a known object [J]. Optics Express, 2013, 21(10): 12539-12545. doi:  10.1364/OE.21.012539
    [26] He H X, Wong K S. An improved wavefront determination method based on phase conjugation for imaging through thin scattering medium [J]. Journal of Optics, 2016, 18(8): 085604. doi:  10.1088/2040-8978/18/8/085604
    [27] Wang F J, He H X, Zhuang H C, et al. Controlled light field concentration through turbid biological membrane for phototherapy [J]. Biomedical Optics Express, 2015, 6(6): 2237-2245. doi:  10.1364/BOE.6.002237
    [28] Li S, Zhong J. Dynamic imaging through turbid media based on digital holography [J]. Journal of the Optical Society of America A, 2014, 31(3): 480-486. doi:  10.1364/JOSAA.31.000480
    [29] Singh A K, Naik D N, Pedrini G, et al. Looking through a diffuser and around an opaque surface: A holographic approach [J]. Optics Express, 2014, 22(7): 7694-7701. doi:  10.1364/OE.22.007694
    [30] Harm W, Roider C, Jesacher A, et al. Lensless imaging through thin diffusive media [J]. Optics Express, 2014, 22(18): 22146-22156. doi:  10.1364/OE.22.022146
    [31] Isaac F. Looking through walls and around corners [J]. Physica A, 1990, 168(1): 49-65. doi:  10.1016/0378-4371(90)90357-X
    [32] Newman J A, Webb K J. Imaging optical fields through heavily scattering media [J]. Physical Review Letters, 2014, 113(26): 263903. doi:  10.1103/PhysRevLett.113.263903
    [33] Stern G, Katz O. Noninvasive focusing through scattering layers using speckle correlations [J]. Optics Letters, 2019, 44(1): 143-146. doi:  10.1364/OL.44.000143
    [34] Xie X, He Q, Liu Y, et al. Non-invasive optical imaging using the extension of the Fourier–domain shower–curtain effect [J]. Optics Letters, 2021, 46(1): 98-101. doi:  10.1364/OL.415181
    [35] Gardner D F, Divitt S, Watnik A T. Ptychographic imaging of incoherently illuminated extended objects using speckle correlations [J]. Applied Optics, 2019, 58(13): 3564-3569. doi:  10.1364/AO.58.003564
    [36] Edrei E, Scarcelli G. Memory-effect based deconvolution microscopy for super-resolution imaging through scattering media [J]. Scientific Reports, 2016, 6: 33558. doi:  doi.org/10.1038/srep33558
    [37] Shi Y, Liu Y, Wang J, et al. Non-invasive depth-resolved imaging through scattering layers via speckle correlations and parallax [J]. Applied Physics Letters, 2017, 110(23): 231101. doi:  10.1063/1.4985010
    [38] Edrei E, Scarcelli G. Optical imaging through dynamic turbid media using the Fourier-domain shower-curtain effect [J]. Optica, 2016, 3(1): 71-74. doi:  10.1364/OPTICA.3.000071
    [39] Takasaki K T, Fleischer J W. Phase-space measurement for depth-resolved memory-effect imaging [J]. Optics Express, 2014, 22(25): 31426-31433. doi:  10.1364/OE.22.031426
    [40] Bertolotti J, Putten E G, Blum C, et al. Non-invasive imaging through opaque scattering layers [J]. Nature, 2012, 491(7423): 232-234. doi:  10.1038/nature11578
    [41] Katz O, Heidmann P, Fink M, et al. Non-invasive single-shot imaging through scattering layers and around corners via speckle correlations [J]. Nature Photonics, 2014, 8(10): 784-790. doi:  10.1038/nphoton.2014.189
    [42] 邵晓鹏, 刘飞, 李伟, 等. 计算成像技术及应用最新进展[J]. 激光与光电子学进展, 2020, 57(02): 11-55. doi:  10.3788/LOP57.020001

    Shao X P, Liu F, Li W, et al. Latest progress in computational imaging technology and application [J]. Laser & Optoelectronics Progress, 2020, 57(2): 020001. (in Chinese) doi:  10.3788/LOP57.020001
    [43] Li Y, Xue Y, Tian L. Deep speckle correlation: A deep learning approach toward scalable imaging through scattering media [J]. Optica, 2018, 5(10): 1181-1190. doi:  10.1364/OPTICA.5.001181
    [44] Zhu S, Guo E, Jie G U, et al. Imaging through unknown scattering media based on physics-informed learning [J]. Photonics Research, 2021, 9(5): B210-B219. doi:  10.1364/PRJ.416551
    [45] Wang F, Wang C L, Deng C J, et al. Single-pixel imaging using physics enhanced deep learning [J]. Photonics Research, 2022, 10(1): 104-110. doi:  10.1364/PRJ.440123
    [46] 朱硕, 郭恩来, 柏连发, 等. 高效学习的透过未知散射介质的相位恢复方法[J]. 红外与激光工程, 2022, 51(02): 416-424. doi:  10.3788/IRLA20210889

    Zhu S, Guo E, Bai L, et al. Efficient learning-based phase retrieval method through unknown scattering media [J]. Infrared and Laser Engineering, 2022, 51(2): 20210899. (in Chinese) doi:  10.3788/IRLA20210889
    [47] Mosk A, Silberberg Y, Webb K, et al. Imaging, sensing, and communication through highly scattering complex media[R]. Purdue Univ Lafayette, 2015.
    [48] Rosen J, de Aguiar H B, Anand V, et al. Roadmap on chaos-inspired imaging technologies (CI2-Tech) [J]. Applied Physics B, 2022, 128(3): 1-26.
    [49] He Q. Non-invasive optical imaging with extended Fourier-domain shower-curtain effect [D]. Shantou University, 2021: 20-21.
    [50] Feng S, Kane C, Lee P A, et al. Correlations and fluctuations of coherent wave transmission through disordered media [J]. Physical Review Letters, 1988, 61(7): 834-837. doi:  10.1103/PhysRevLett.61.834
    [51] He H, Xie X, Liu Y, et al. Exploiting the point spread function for optical imaging through a scattering medium based on deconvolution method [J]. Journal of Innovative Optical Health Sciences, 2019, 12(4): 1930005. doi:  10.1142/S1793545819300052
    [52] Long L, Quan L, Shuai S, et al. Imaging through scattering layers exceeding memory effect range with spatial-correlation-achieved point-spread-function [J]. Optics Letters, 2018, 43(8): 1670-1673. doi:  10.1364/OL.43.001670
    [53] Wei Y, Lu D, Liao M, et al. Noninvasive imaging of two isolated objects through a thin scattering medium beyond the 3 D optical memory effect [J]. Optics Express, 2021, 29(12): 18807-18816. doi:  10.1364/OE.424517
    [54] Xie X, Zhuang H, He H, et al. Extended depth-resolved imaging through a thin scattering medium with PSF manipulation [J]. Scientific Reports, 2018, 8(1): 1-8.
    [55] Xu X, Xie X, Abhilash T, et al. Imaging of objects through a thin scattering layer using a spectrally and spatially separated reference [J]. Optics Express, 2018, 26(12): 15073-15083. doi:  10.1364/OE.26.015073
    [56] Zhu L, de Monvel J B, Berto P, et al. Chromato-axial memory effect through a forward-scattering slab [J]. Optica, 2020, 7(4): 338-345. doi:  10.1364/OPTICA.382209
    [57] Dror I, Sandrov A, Kopeika N S. Investigation of the influence of inhomogenous scattering media on image quality: The shower curtain effect[C]//Proceedings of SPIE-The International Society for Optical Engineering, 1996, 2828: 342-352.
    [58] Dror I, Sandrov A, Kopeika N S, et al. Experimental investigation of the influence of the relative position of the scattering layer on image quality: The shower curtain effect [J]. Applied Optics, 1998, 37(27): 6495-6499. doi:  10.1364/AO.37.006495
    [59] Belov V V, Borisov B D. T-effect and shower curtain effect[C]//Proceedings of SPIE-The International Society for Optical Engineering, 2000, 4338: 8-16.
    [60] Kuga Y, Ishimaru A. Modulation transfer function of layered inhomogeneous random media using the small-angle approximation [J]. Applied Optics, 1986, 25(23): 4382-4382. doi:  10.1364/AO.25.004382
    [61] Bruscaglioni P, Donelli P, Ismaelli A, et al. Inhomogeneity of turbid media and its effect on the MTF of an optical system [J]. Il Nuovo Cimento D, 1993, 15(5): 775-783. doi:  10.1007/BF02482444
    [62] Zege E P, Ivanov A P, Katsev I L. Image Transfer Through a Scattering Medium[M]. New York: Springer-Verlag, 1991.
    [63] Jaruwatanadilok S, Ishimaru A, Kuga Y. Optical imaging through clouds and fog [J]. IEEE Transactions on Geoscience and Remote Sensing, 2003, 41(8): 1834-1843. doi:  10.1109/TGRS.2003.813845
    [64] Grégoire T, Gilles R. Aerosol lenses propagation model [J]. Optics Letters, 2011, 36(17): 3419-3421. doi:  10.1364/OL.36.003419
    [65] Tremblay G, Bernier R, Roy G. The shower curtain effect paradoxes[C]//Optics in Atmospheric Propagation and Adaptive Systems XVIII. International Society for Optics and Photonics, 2015, 9641: 964107.
    [66] Goodman J W. Statistical Optics[M]. Canada: John Wiley & Sons, 1986.
    [67] Wu H, Meng X, Yang X, et al. Single shot real-time high-resolution imaging through dynamic turbid media based on deep learning [J]. Optics and Lasers in Engineering, 2022, 149: 106819. doi:  10.1016/j.optlaseng.2021.106819
    [68] Yang X, Pu Y, Psaltis D. Imaging blood cells through scattering biological tissue using speckle scanning microscopy [J]. Optics Express, 2014, 22(3): 3405-3413. doi:  10.1364/OE.22.003405
    [69] Wu T, Dong J, Shao X, et al. Imaging through a thin scattering layer and jointly retrieving the point-spread-function using phase-diversity [J]. Optics Express, 2017, 25(22): 27182-27194. doi:  10.1364/OE.25.027182
    [70] Newman J A, Luo Q, Webb K J. Imaging hidden objects with spatial speckle intensity correlations over object position [J]. Physical Review Letters, 2016, 116(7): 073902. doi:  10.1103/PhysRevLett.116.073902
    [71] Porat, A, Andresen E R, Rigneault H, et al. Widefield lensless imaging through a fiber bundle via speckle correlations [J]. Optics Express, 2016, 24(15): 16835-16855. doi:  10.1364/OE.24.016835
    [72] Schott S, Bertolotti J, Leger J F, et al. Characterization of the angular memory effect of scattered light in biological tissues [J]. Optics Express, 2015, 23(10): 13505-13516. doi:  10.1364/OE.23.013505
    [73] Zhuang H, He H, Xie X, et al. High speed color imaging through scattering media with a large field of view [J]. Scientific Reports, 2016, 6: 32696. doi:  10.1038/srep32696
    [74] Chen Q, He H, Xu X, et al. Memory effect based filter to improve imaging quality through scattering layers [J]. IEEE Photonics Journal, 2018, 10(5): 1-10.
    [75] Akkermans E, Montambaux G. Mesoscopic Physics Of Electrons and Photons[M].Cambridge University Press, 2007.
    [76] Goodman J W. Speckle Phenomena in Optics: Theory and applications[M].Roberts and Company Publishers, 2007.
    [77] Fienup J R. Phase retrieval algorithms: A comparison [J]. Applied Optics, 1982, 21(15): 2758-2769. doi:  10.1364/AO.21.002758
    [78] Hoppe W. Diffraction in inhomogeneous primary wave fields. 1. Principle of phase determination from electron diffraction interference [J]. Acta Crystallographica, 2014, 25(4): 495-501.
    [79] Pfeiffer F. X-ray ptychography [J]. Nature Photonics, 2018, 12(1): 9-17. doi:  10.1038/s41566-017-0072-5
    [80] Rodenburg J M. Ptychography and related diffractive imaging methods [J]. Advances in Imaging & Electron Physics, 2008, 150(7): 87-184.
    [81] Zhou M, Li R, Peng T, et al. Retrieval of non-sparse objects through scattering media beyond the memory effect [J]. Journal of Optics, 2020, 22(8): 085606. doi:  10.1088/2040-8986/aba0fc
    [82] Faulkner H, Rodenburg J M. Movable aperture lensless transmission microscopy: a novel phase retrieval algorithm [J]. Physical Review Letters, 2004, 93(2): 023903. doi:  10.1103/PhysRevLett.93.023903
    [83] Rodenburg J M, Hurst A C, Cullis A G. Transmission microscopy without lenses for objects of unlimited size [J]. Ultramicroscopy, 2007, 107(2-3): 227-231. doi:  10.1016/j.ultramic.2006.07.007
    [84] Rodenburg J M, Faulkner H. A phase retrieval algorithm for shifting illumination [J]. Applied Physics Letters, 2004, 85(20): 4795-4797. doi:  10.1063/1.1823034
    [85] Maiden A M, Rodenburg J M. An improved ptychographical phase retrieval algorithm for diffractive imaging [J]. Ultramicroscopy, 2009, 109(10): 1256-1262. doi:  10.1016/j.ultramic.2009.05.012
    [86] Matthias H, Christian S, Sophie B, et al. Wide field fluorescence epi-microscopy behind a scattering medium enabled by speckle correlations [J]. Optics Express, 2018, 26(8): 9866-9881. doi:  10.1364/OE.26.009866
    [87] 肖晓, 杜舒曼, 赵富, 等. 基于赝热光照明的单发光学散斑成像[J]. 物理学报, 2019, 68(03): 164-171. doi:  10.7498/aps.68.20181723

    Xiao X, Du S, Zhao F, et al. Single-shot optical speckle imaging based on pseudothermal illumination [J]. Acta Physica Sinica, 2019, 68(3): 164-171. (in Chinese) doi:  10.7498/aps.68.20181723
    [88] Fienup J R. Reconstruction of an object from modulus of its Fourier transform [J]. Optics Letters, 1978, 3(1): 27-29. doi:  10.1364/OL.3.000027
    [89] 左超, 陈钱. 计算光学成像: 何来, 何处, 何去, 何从?[J]. 红外与激光工程, 2022, 51(02): 158-338. doi:  10.3788/IRLA20220110

    Zuo C, Chen Q. Computational optical imaging: An overview [J]. Infrared and Laser Engineering, 2022, 51(02): 20220110. (in Chinese) doi:  10.3788/IRLA20220110
    [90] 陈琦, 徐熙平, 姜肇国, 等. 基于光场相机的深度面光场计算重构[J]. 光学精密工程, 2018, 26(3): 708-714. doi:  10.3788/OPE.20182603.0708

    Chen Q, Xu X, Jiang Z, et al. Light field computational reconstruction from focal planes based on light field camera [J]. Optics and Precision Engineering, 2018, 26(3): 708-714. (in Chinese) doi:  10.3788/OPE.20182603.0708
    [91] 吴笑天, 吕博, 刘博等. 组合曝光的计算成像系统及其复原[J]. 光学精密工程, 2021, 29(02): 452-462. doi:  10.37188/OPE.20212902.0452

    Wu X, Lu B, Liu B, et al. Combined exposure computational imaging system and image restoration method [J]. Optics and Precision Engineering, 2021, 29(2): 452-462. (in Chinese) doi:  10.37188/OPE.20212902.0452
    [92] 董磊, 王斌, 刘欣悦. 多光束傅里叶望远镜的关键技术[J]. 中国光学, 2010, 3(5): 440-445. doi:  10.3969/j.issn.2095-1531.2010.05.004

    Dong L, Wang B, Liu X. Introduction to key techniques of multiple beam Fourier telescopy [J]. Chinese Optics, 2010, 3(5): 440-445. (in Chinese) doi:  10.3969/j.issn.2095-1531.2010.05.004
    [93] Zheng G A, Horstmeyer R, Yang C. Wide-field, high-resolution Fourier ptychographic microscopy [J]. Nature Photonics, 2013, 7(9): 739-745. doi:  10.1038/nphoton.2013.187
    [94] Zheng G A. Breakthroughs in photonics 2013: Fourier ptychographic imaging [J]. IEEE Photonics Journal, 2014, 6(2): 1-7.
    [95] Bian Z, Dong S, Zheng G. Adaptive system correction for robust Fourier ptychographic imaging [J]. Optics Express, 2013, 21(26): 32400-32410. doi:  10.1364/OE.21.032400
    [96] Pan A, Zuo C, Yao B. High-resolution and large field-of-view Fourier ptychographic microscopy and its applications in biomedicine [J]. Reports on Progress in Physics, 2020, 83(9): 096101. doi:  10.1088/1361-6633/aba6f0
    [97] 杨虹, 黄远辉, 龚昌妹, 等. 散射介质超衍射极限技术研究进展[J]. 中国光学, 2014, 7(1): 1-25. doi:  10.3788/CO.20140701.0001

    Yang H, Huang Y, Gong C, et al. Advances on techniques of breaking diffraction limitation using scattering medium [J]. Chinese Optics, 2014, 7(1): 1-25. (in Chinese) doi:  10.3788/CO.20140701.0001
    [98] Xu W, Lin H, Wang H, et al. Reconstruction method of a ptychographic dataset with unknown positions [J]. Optics Letters, 2020, 45(16): 4634-4637.
    [99] 王东, 马迎军, 刘泉, 等. 可见光域多波长叠层衍射成像的实验研究[J]. 物理学报, 2015, 64(08): 150-160. doi:  10.7498/aps.64.084203

    Wang D, Ma Y, Liu Q, et al. Experimental study on multi-wavelength ptychographic imaging in visible light band [J]. Acta Physica Sinica, 2015, 64(8): 150-160. (in Chinese) doi:  10.7498/aps.64.084203
    [100] Yang D, Zhang J, Tao Y, et al. Dynamic coherent diffractive imaging with a physics-driven untrained learning method [J]. Optics Express, 2021, 29(20): 31426-31442. doi:  10.1364/OE.433507
  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Figures(16)

Article Metrics

Article views(373) PDF downloads(102) Cited by()

Related
Proportional views

Model development and applications extension of the shower-curtain effect (invited

doi: 10.3788/IRLA20220299
  • Department of Physics, College of Science, Shantou University, Shantou 515063, China
Fund Project:  National Natural Science Foundation of China (12074444);Basic and Applied Basic Research Foundation of Guangdong Province(2021A1515012050);Education Department of Guangdong Province(2018KCXTD011)

Abstract: Imaging techniques such as speckle correlation and wavefront modulation are efficient and important to overcome the scattering effect caused by inhomogeneous media. However, the field of view of these techniques is limited, and the dynamic scattering media degrades the image quality due to the dependence on the memory effect. The shower-curtain effect is a common effect that is not limited by the field of view and the dynamic scattering medium. In recent years, with the development of various computational imaging techniques, the shower-curtain effect has been applied to different scattering scenes to overcome the scattering effect, combined with other imaging recovery methods, and has shown some unique advantages compared with traditional scattering imaging techniques. This paper summarizes the evolution of the physical model of the shower-curtain effect based on the modulation transfer function, analysing the influence of optical depth and aperture sizes. The applications of the shower-curtain effect and the Fourier domain shower-curtain effect in the field of scattering imaging are depicted. The difference and relationship between the Fourier domain shower curtain effect and other imaging techniques based on a phase iterative algorithm are discussed, and the possibility of combination with other computational imaging techniques is proposed.

    • 人类的视觉感知一直都是其认知微观结构和宏观世界的重要手段。尽管人类发明了许多先进的成像仪器,但散射介质的存在依然是光学成像过程中不可避免的障碍。穿过散射介质后,原本应直线传播的光线随机传播[1-2]。如何克服散射影响、实现散射介质后物体的成像恢复是一个具有挑战性的课题[3-4]。近年来,随着光散射理论和实验技术的不断发展,多种克服散射介质散射影响的成像技术不断被提出,在生物显微和工程领域展现出巨大的应用潜力。为了在不同散射环境中尽可能获得光场全要素信息[5],人们提出了许多克服散射的各种信息获取[6]、聚焦[7]和成像技术[8],代表性的技术包括自适应光学技术(AO)[9-10]、相位共轭法[11-17]、飞行时间法(TOF)成像[18-19]、传输矩阵法[20-23]、波前整形[24-27] 、全息计算法[28-30]和散斑相关[31-41]等。随着计算能力的提升,深度学习等人工智能算法依托其强大的数据挖掘能力,在计算成像领域开拓出全新的成像手段并取得了显著的成果[42-43]。高复杂度目标、大视场、大景深、单像素探测、动态散射介质和宽谱段响应等不同散射环境下的目标重建均可应用深度学习技术[44-46]

      然而,克服散射的成像恢复技术依然处于挑战与机遇并存的阶段。虽然现有的一些方法在应对某些情况能表现出其有效性,但是从整个光学系统全链路(物体到散射介质到探测器)的角度出发,现有的散射成像技术仍存在一些难题,远距离、低能见度、退相干环境、高速动态散射环境等情况下的成像恢复难度依然很大,需要挖掘更多的物理因素,探索更多光场全要素信息获取方法,提高探测器件性能,优化计算成像算法[47-48]。通常可分为三大部分[49]:一、全光参量信息记录:目标光场具有振幅、空间分布、相位、光谱、偏振等多维度信息。如何从复杂的散斑图案中恢复出光场全要素,分析它们与散射特征参数之间的变化关系是每一类技术都需要面临和突破的挑战;二、应用场景的复杂:大多数情况下,物体和散射介质并非静止不动,如物体的平移或旋转、大气湍流、生物组织液的流动等等。应用场景的动态变化会导致一些依赖先验知识的方法失效;三、探测装置和数据处理的速度:部分散射成像技术耗时长且装置复杂,导致了其无法进行实时散射成像,需要有高速处理的算法和大数据处理能力。

      散射光场传播过程本质上与偏振、相位、波长、振幅等光场要素息息相关,获取光场全要素信息后可以采用空间光调制器件对振幅、相位和偏振等多参量进行补偿和反馈以消除散射介质的影响,有望进一步提升散射成像技术的恢复能力和扩大其应用范围。然而,当前的反馈系统需要大量数据计算,而调制器响应速度较慢,无法实现对目标的实时快速成像,对于运动目标或快速扰动环境,成像变得非常困难。

      基于光学记忆效应[50]的散斑相关成像技术(包括散斑自相关和解卷积技术[51])只需采用非相干光照明(接近于日常环境照明),不需要昂贵的激光器、空间光调控器件和复杂的机械控制或扫描系统,具有极大的应用潜力。但是该技术目前面临诸多问题:随着散射介质厚度增加,记忆效应范围将急剧下降,这意味着可应用范围极其有限;当散射介质动态变化时,需采集多帧图像以恢复目标的散斑相关成像技术将失效。尽管现已提出超过光学记忆效应范围的成像恢复方法[52-53],同时研究多种记忆效应[50, 54-56],但是如何加快解自相关或解卷积运算过程以适应更高速的动态散射环境仍然是个难题。

      浴帘效应是一种有趣的光散射成像效应:当浴帘(散射介质)距离观察者或相机越近,浴帘后面的物体模糊越明显,反之,当浴帘离物体越近时,物体看起来越清晰。当传播到浴帘上的光场是物的空间频谱时,它也同样可以用于散射光学成像,被称为傅里叶域的浴帘效应(FDSE)。文中将综述浴帘效应的成像模型发展、特点和应用扩展,并分析其与其他各种新型的计算成像技术结合的可能。基于浴帘效应和傅里叶域浴帘效应的成像技术具有动态免疫,非侵入性、低成本、操作简单、高分辨率等优点,可以实现静态散射介质、动态散射介质包围下的物体成像恢复,有望被引入到更多的散射成像技术中,实现更多场合的应用。

    • 浴帘效应是一种有趣的光散射效应,在日常生活中能够经常被观察到。当浴帘(散射介质)距离观测端越近时,浴帘(散射介质)后物体的观测图像越模糊,反之,当浴帘(散射介质)离物体越近时,物体图像越清晰。物体与散射介质间的距离能决定物体能否被清楚地观察到,如图1所示,图1(a)是浴帘效应的观测光路,图1(b)第二行和第三行图像组分别为在白光灯下被动照明的目标和利用激光照明镂空字母模拟的主动发光目标,图中的数值为目标和散射体之间的距离H。在1978年研究人员开始研究并总结其特点[57-61],并将该现象称为:浴帘效应(shower-curtain effect)。

      Figure 1.  Spatial-domain shower-curtain effect. (a) Schematic diagram of optical path; (b) Observation results: The first and second rows are illuminated by white LED and laser respectively [49]

      从光学系统的角度进行解释,假设携带物体信息的光场穿过散射介质后,会被散射成各种角度的光场(即不同的波矢$ k $)。当散射体(浴帘)靠近观察者或者相机时,大角度散射光会被记录,导致物体的图像产生模糊。这里的大角度,即图1(a)中的大k,是指相对于在光路系统中不存在散射介质时的成像光线的偏转(如图1(a)中的虚线部分)。当散射体(浴帘)远离观察者或者相机时,大角度散射光会被系统的截止频率自动地滤掉,从而减少模糊,但图像的辐照度会下降。从空间频域的角度上解释,散射体的表现相当于一个空间低通滤波器$ Gauss\left({f}_{cutoff}\right) $,空间截止频率$ {f}_{cutoff} $与物体和散射体之间的距离H成反比,写为: $ F\left(I\right)=F\left(O\right)\cdot Gauss\left({f}_{cutoff}\right) $,其中$ I $指CCD记录的图像,$ O $指物体,$ F\left(I\right) $、$ F\left(O\right) $为对应的空间频谱。当物体与散射介质之间的距离增大,系统的截止频率降低,对应的系统分辨率将降低。但当物体紧贴散射介质时,系统表现出高分辨能力。

      Dror等[57-58]从调制传递函数(MTF)角度研究浴帘效应。其利用聚苯乙烯颗粒悬浮液作为散射介质,实验研究了浴帘效应下点扩散函数(PSF)随散射体位置的变化:当散射体接近小孔时,系统的PSF逐渐尖窄;相反,散射体远离小孔时,系统的PSF逐渐平宽。尖且窄的PSF意味着系统具有更好的成像质量。Dror等由测量的PSF计算MTF,与基于小角度近似(SAA)的辐射传输方程推导的理论MTF进行比较,实验总体趋势与理论模型一致。对应的理论MTF表达式[62]由下式给出:

      式中:$ \nu $为角空间频率;T为光路图1Hz0的比值;$\varPhi (v\cdot T)$为散射相位函数的傅里叶变换;$ \tau $为散射介质的光学厚度,通常定义为物理厚度L与散射介质的衰减系数$ \alpha $的乘积: $ \tau =\alpha L $。

    • 从浴帘效应的解释中可以看出,当物体和成像透镜距离为$ {z}_{0} $,物体与散射介质的距离为H时,目标图像的质量与HTT=H/$ {z}_{0} $)的关系是呈单调递减的。然而,当物体是漫反射发光物体时,存在着一种效应,使得成像质量不随T增加而单调递减,称为T-effect,此时成像质量除了散射介质紧贴在物体上之外,还存在一个极值,使得成像质量最好[59]。采用图1光路,固定物体和探测器的距离,改变散射层的位置,对T-effect进行观测,如图2所示。T-effect的实质可以表述为:在通过散射层对发光物体进行非相干观测的情况下,当散射层从物体移动到观察者时,图像质量可能发生非单调地变化。散射层、观察者和物体的特定排列,能使图像的空间分布完全被扭曲(成像质量最差)。T-effect本质上可以用MTF解释:随着散射介质逐渐靠近探测器,空间截止频率逐渐减小,可清晰观测的物体细节逐渐减少,但MTF的高频部分并不完全降至0,说明物光并未完全散射,当截止频率接近基频时,散射光形成均匀光场,未散射光重新形成清晰物像。

      Figure 2.  Observations of T-effect: Images of the test- object are observed through the layer of milk solution (upper row) at T=0, 0.006 and 0.2 (from left to right) and through the milk glass (lower row) at T=0, 0.025 and 0.38 (from left to right)[59]

    • 浴帘效应是描述物体观察清晰度由物体与散射介质间距“决定”的现象。研究人员发现浴帘效应还受系统成像孔径大小和散射介质光学厚度的影响,可通过点扩散函数表征的方式来分析。Jaruwatanadilok 等[63]基于全矢量辐射传输理论推导了散射系统(图3)的点源在成像平面的强度:

      Figure 3.  Imaging system with random medium [63]

      式中:$ a $是成像孔径半径;$ \tau $是散射介质光学厚度;第一项是相干分量,该项由衍射极限理论推导得到;第二项是非相干分量(散射),该项会导致图像模糊。当相干分量作为影响分辨率的主要因素时,分辨率取决于波长和成像孔径尺寸;当非相干分量决定分辨率时,图像清晰度大大降低。从公式(2)中可以看出,系统成像孔径大小对相干分量和非相干分量均有影响,决定成像的图像分辨率。图4是透过不同光学厚度散射介质且散射介质位于不同位置的十字架物体成像模拟结果,图(a)和(b)的观测光路由尺寸为20 m的物体,孔径直径为3 cm、焦距为50 cm的透镜,光学厚度为10的散射介质和探测器组成,且${z}_{0}=20\; {\rm{km}}$;图(c)~(f)的观测光路由尺寸为0.8 m的物体,孔径直径为3 mm、焦距为1.6 cm的透镜,散射介质和探测器组成, 且$ {z}_{0}=2 \;{\rm{m}} $,其中图(c)和(d)光路中的散射介质光学厚度为10,图(e)和(f)光路中的散射介质光学厚度为25。在小光学厚度情况下,相干分量是主要影响因素,此时观测不到浴帘效应的现象,观测图像分辨率不受散射介质位置的影响,而是取决于波长和成像孔径尺寸,因此图4(a)和(b)的系统成像分辨能力比图4(c)和(d)的系统差,十字架图像边缘模糊。此外,图4(c)和(d)的大视角系统收集了更多的散射光,导致其图像的背景强度强。而对于大光学厚度,非相干分量占主导,将引起浴帘效应,在$ H=0.4 $ m的情况下,仍然能观测到十字架的一些痕迹,在$H=1.5 \;{\rm{m}}$ 的情况下,完全无法观察到十字架。

      Figure 4.  Cross image through a random medium of optical depth 10: (a) $ H $=15 km, (b) $ H $=4 km, (c) $ H $=1.5 m, (d) $ H $=0.4 m. Cross image through a random medium of optical depth 25: (e) $ H $=1.5 m, (f) $ H $=0.4 m [63]

    • 根据衍射极限理论,系统的点扩散函数的半高宽度的一半等同于系统的最小可分辨尺寸$ {R}_{t} $。当点扩散函数的半高宽度越大时,最小可分辨尺寸越大,系统的空间分辨能力越低,输出的图像越模糊;反之,最小可分辨尺寸越小,系统的空间分辨能力越高,输出的图像越清晰。

      实际的系统MTF并不能由基于小角度近似的辐射传输方程得到的理论MTF完全拟合,其还与散射介质中散射颗粒大小相关。即使这样,公式(1)在一定程度下仍能说明浴帘效应的系统最小可分辨尺寸与散射介质的光学厚度之间成正比关系。

      对于这一关系,可用多层散射介质,如白纸(厚度:30 μm,散射系数:20 μm−1)或者多层透明胶带(厚度:30 μm,散射系数:200 μm−1)作为浴帘来验证[38],如图5所示。随着纸张数目的增加,光学厚度的增大,紧贴在散射体后的物体最小可分辨特征尺寸增大,系统的空间分辨率下降。有些研究利用散射介质作为一个屏幕,将物体成像在散射介质表面上,这种情况也满足浴帘效应。此时,物体的观测图像清晰度受到成像平面与散射介质间的距离(距离不为0 mm相当于离焦)的影响,同时清晰度的变化规律还受到散射介质厚度、散射介质对前表面光场的扩散响应以及成像系统(主要是焦距)的影响。当通过成像系统记录散射介质表面的光场不是物体光场或者物体的图像,而是物体的频谱信息时,浴帘效应又称为傅里叶域浴帘效应。由于空间频域与空间域是一对傅里叶变换对,散射介质光学厚度影响频谱的最小可分辨尺寸,经逆傅里叶变换,影响的是系统的视场,光场经散射介质出射的最小散斑颗粒也必须小于空间频谱的最小分辨率(物体视场的傅里叶变换)。因此,目标与散射介质之间的距离越长,可允许的散射介质最大光学厚度越大,系统的视场也越大。

      Figure 5.  Smallest resolvable feature with increasing layers of papers (red) or tapes (black) [38]

    • 动态散射介质会导致激光退相干(散斑对比度下降甚至消失),即使是缓慢变化的散射介质也会导致散斑的时间去相关,因此研究动态散射介质后的散斑特性和成像恢复一直是一个具有挑战性的难题。而浴帘效应能够克服散射介质动态变化的影响。当散射介质产生动态变化时,光学系统的MTF是不变的。因此,当T=0,即物体紧贴动态散射介质时,物体可以一直以高质量被分辨着。结论是:浴帘效应具有对动态散射介质导致的图像退化免疫特性。

      图6是浴帘效应对动态散射介质免疫特性的实验验证。通过结合散斑照明和基于傅里叶域浴帘效应的散斑相关术,可测量得到动态散射体后的双缝孔径的自相关图横截面,具体实验光路如图7所示。图6中的红线部分为通过转动的磨砂玻璃后测量的结果,而蓝线部分为通过静态磨砂玻璃后的测量结果。可以看到,动态的结果比静态的结果更好。因为实验结果是在多张测量图的平均下得到的,所以散射体的转动反而使得测量图在空间上得到均匀,所得的双缝孔径的自相关更好。

      Figure 6.  Cross-section of the autocorrelation of a double slit aperture when placed behind a static ground glass (blue) and a rotating ground glass (red)[38]

      Figure 7.  Optical path diagram of the FDSE-based method[49]

    • 并不是所有对散射介质后目标的观测现象都符合浴帘效应。图8展示了分别通过由透明胶面、每英寸14个网孔的蚊帐、炉玻璃纤维过滤器作为散射介质的观测结果。很显然,对于不同的散射介质,改变其与目标、探测器的位置关系,观测结果不同。将不符合浴帘效应的现象统称为浴帘效应悖论。Tremblay等[64-65]利用分层模型解释了浴帘效应悖论。在该模型中,系统的调制传递函数(MTF)由多个单层的MTF的乘积组成,即

      式中:$ {H}_{{U}_{i}} $是归一化的未散射光的MTF; $ {H}_{{S}_{i}} $是归一化的散射光的MTF; $ {P}_{{U}_{i}} $是未散射光功率的比例;$ {P}_{{S}_{i}} $是散射光功率的比例; $ {H}_{{A}_{i}} $和$ {P}_{{A}_{i}} $代表环境光。分层模型及MTF模拟结果如图9所示。基于该模型,通过透明胶面的观测现象符合浴帘效应的原因是没有未散射光能够通过;而大部分信号光能够通过蚊帐,其截止频率很高,故蚊帐位于不同位置的观测图像几乎不模糊;通过炉玻璃纤维过滤器的观测现象为T-effect,炉玻璃纤维过滤器能够同时散射和通过信号光,随着过滤器逐渐靠近探测器,过滤器的影响可认为是过滤器的像逐渐离焦模糊至在探测器上形成均匀背景,而信号光并没有完全被散射,则高频部分的MTF不为0,图像反而更清晰。浴帘效应存在悖论并不是因为浴帘效应的理论模型存在错误,而是因为“浴帘”缺乏准确定义。因此他们将浴帘定义为:浴帘材料能够100%散射入射光,且能够在探测器的分辨范围内衰减信号。

      Figure 8.  (a) The target; (b) Optical setup, target and camera located at 0 m and 5 m, the scatters/curtains moved by steps of 1 m. (c) Observed results, top: adhesive plastic cover, middle: mosquito screen, bottom: fiberglass furnace filter[65]

      Figure 9.  (a) Layered model made of a source, multiple scattering layers, lens and a detector; (b) MTF of different layers[65]

    • 傅里叶域浴帘效应(FDSE)由经典的空间域浴帘效应(SDSE)发展而来。两者的区别在于:SDSE利用的是物体的空间域信息,观察者可以透过散射介质直接观测到物体;而FDSE记录的是物体的空间频域信息,再通过相位检索算法间接地获取物体的空间信息。

    • 2016年,Edrei等[38]提出了一种基于傅里叶域浴帘效应的散斑相关成像技术,该技术能够通过厚度为毫米级的生物组织,实现动态的非侵入式散射成像,其光路图如图10所示。该技术采用散斑照明,远场条件由$ z > 2{D}^{2}/\lambda $缩短至$ z > 2 D{R}_{c}/\lambda $($ D $是物体尺寸,$ {R}_{c} $是照明散斑相关半径)[66],在第二个散射介质前表面的光场分布为散斑照明下物函数的傅里叶变换。通过浴帘效应,可在散射介质后表面观测到其前表面的光场分布,利用成像镜头将散射介质后表面成像到图像探测器上,将记录的图像进行傅里叶变换,通过多帧平均,得到物体的自相关即频谱强度信息,再由相位检索算法重建物体。因此,该技术在傅里叶域利用浴帘效应,记录的是物体的空间频率而非物体特征。

      Figure 10.  Experimental setup of optical imaging using FDSE and speckle illumination[38]

      在浴帘效应中,散射介质前表面光场经散射介质的扩散响应等因素影响了“屏幕”的分辨率,从而影响物体图像的最小可分辨特征。不同于空间域浴帘效应,在傅里叶域浴帘效应中,受清晰度的变化规律影响的是物体的傅里叶变换谱最小可分辨尺寸,从而经逆傅里叶变换,影响的是系统可分辨的物体范围,即系统的视场大小。此外,作为“屏幕”的散射介质的动态变化并不会导致成像系统点对点的对应关系的退化。事实上,其动态变化显著地退化了空间相关性,克服了浴帘引入的散斑对观测图像的影响,也使得观测图像空间平均,在实现动态免疫性的同时也提高了成像质量。

      Figure 11.  Schematics of the FDSE-based method with a positive lens for optimization[34]

    • 当物体足够靠近散射介质时,可以利用空间域浴帘效应直接观测物体,当满足散斑照明下的远场条件时,可利用傅里叶域浴帘效应恢复成像,但存在一段空间位置,物体远离散射介质,又达不到远场条件,两者都无法起作用。为解决这一限制,Xie等[34]提出了一种在Edrei等原光路的基础上利用正透镜的傅里叶变换特性拓展傅里叶域浴帘效应的优化方案,实现散射介质外任意位置对物体的成像恢复,方案光路图如图11所示,图12展示了正透镜优化的FDSE的恢复结果。Xie等在supplementary material [34]中根据维纳-辛钦定理,推导互相干的传播过程,得到浴帘表面的光强分布即CCD记录的图像为物函数的自相关与照明散斑的自相关的乘积的傅里叶变换,即$ I= F[\left(O\otimes O\right)\cdot \left(Sp1\otimes Sp1\right)] $,因此,

      Figure 12.  Image restoration with different diffusers: (a) 1°, (b) 5°, (c) 10°, (d) 40°, SP: Speckle pattern, ACA: The average of 1000 frames of autocorrelations, R1: Restoration from the ACA[34]

      该公式的推导不再需要对Rc做要求,式中:$ O $是物函数;$ {S}_{n} $是照明散斑;$ F $表示傅里叶变换;$ {F}^{-1} $表示逆傅里叶变换,$ ⨂ $表示自相关运算。

      此外,考虑到实际场景中,物体往往被散射介质所包围,反射式光路是成像的唯一方案,Xie等[34]利用正透镜优化的FDSE方案在实验上实现了物体完全隐藏在动态散射介质后的共轴反射式散射成像。

    • Edrei等提出的基于傅里叶域浴帘效应的散斑相关成像技术要求采集大量图像用于消除脉冲项以获取物体的自相关,同时需要相位检索算法恢复成像,这极大地限制其实时应用。为此,在傅里叶域浴帘效应的基础上,Meng等[67]提出了一种基于深度学习的深度反相关图像重建方法,基于平均功率谱密度近似为高斯分布的假设,推导出噪声模型用于产生卷积神经网络(CNN)的大量训练数据,实现了透过动态散射介质的实时成像,其光路图如图13所示。

      Figure 13.  Experimental setup for imaging, S1, S2: ground glass, diffuser[67]

    • 基于散斑关联的成像技术[32,36-41,62,68-71]近年来得到广泛的关注,科研人员提出了多种基于散斑关联成像新方法。散斑关联成像原理大多采用光学记忆效应[36, 72-74]。在光学记忆效应范围内,散射系统可认为是一个线性空不变系统,而点光源的散斑图样可认为是散射系统的点扩散函数。

      基于光学记忆效应,Bertolotti团队[40]于2012年首次提出一种散斑自相关成像技术,实现对散射介质后荧光物体的非侵入式成像。

      散斑自相关恢复成像算法可分为两部分:

      (1)散斑图案处理

      根据光学记忆效应,采集到的散斑图样$ I\left(\theta \right)= \left[O*S\right]\left(\theta \right) $,式中:$ O $表示物函数,$ S $表示与角度相关的点扩散函数,$ * $表示卷积运算。为了获取物体信息,对散斑图样做自相关运算,即:

      点扩散函数的平均自相关近似为脉冲函数$ \delta $ [75],更准确的说法是近似为脉冲函数与常数相加[76],所以$ I \otimes I\left(\Delta \theta \right)=[O \otimes O]*(\delta +C) $。根据上式,消除$ C $,保留脉冲项$ \delta $,从散斑图样的自相关获得物体的自相关。根据自相关定理: $ {\left|F\left(O\right)\right|}^{2}=F(O \otimes O) $,由物体的自相关可获得物体的空间频谱强度;

      比较公式(4)和(5),两个公式看上去很相似,但却有本质的不同,公式(4)中,傅里叶域浴帘效应的物体自相关是与(C+δ)相乘,因此与解自相关相反,消除脉冲项δ,保留C。因此,基于傅里叶域浴帘效应的散斑相关成像技术同样是散斑解自相关的过程,无需获取散射系统的先验信息。

      (2)相位恢复

      通常用相位检索算法恢复相位重建物体。相位检索算法多基于Gerchberg-Saxton(GS)算法[77],GS 算法的流程如图14所示。

      Figure 14.  GS algorithm flow

      (1)输入一个初始化的空间域的图像$ {g}_{k}(x,y) $;

      (2)对其做傅里叶变换得到频谱$ {G}_{k}({k}_{x},{k}_{y}) $;

      (3)将频谱$ {G}_{k} $的模$ \left|{G}_{k}\right| $置换成已知的频谱的模$ \sqrt{{S}_{meas}} $,其中$ {S}_{meas}\left({k}_{x},{k}_{y}\right)={\left|F\left[O\left(x,y\right)\right]\right|}^{2} $;

      (4)对得到的频谱做逆傅里叶变换到空间域$ {g}_{k}'(x,y) $;

      (5)对图像$ {g}_{k}' $实施空间域的限制:非负非复。满足条件的部分将保留下来,不满足条件的部分将被剔除;

      (6)将$ {g}_{k}' $迭代入$ {g}_{k+1} $,重复(2)~(6)步骤;

      (7)满足一定条件后,输出恢复图像$ g(x,y) $。

      Katz等随后直接采用空间非相光照射物体,利用单张散斑图样就可恢复出物体的图像[41]。应当指出,GS算法有一定的限制,每次出来的解是不唯一的,也可能是不收敛的。而且由于GS算法是迭代算法,其运算过程比较耗时,并且需要对物函数做出一定限制,同时需要采集信号信噪比较高,例如散斑图样的衬比度需要达到一定程度。

    • 叠层衍射成像[78-80]也是一种基于投影的解相位技术。Yao等[81]在2020年创新性地结合叠层衍射成像和浴帘效应,实现了散射介质后超越光学记忆效应范围3.5倍的大视场成像,其实验光路和恢复结果如图15所示。

      Figure 15.  (a) Experimental setup using ptychography and shower-curtain effect, the experimental results through a dynamic onion skin tissue: (b) Resolution target; (c) Hair-follicle cell of human skin[81]

      激光经扫描小孔照明物体后,在散射介质前表面形成菲涅耳衍射,利用浴帘效应,可在散射介质后表面观测到其前表面的物体衍射强度图,利用CCD和透镜组成的成像系统将散射介质后表面成像到CCD上。不同于基于傅里叶域浴帘效应的散斑相关成像技术,该技术无需对采集的一系列图像进行自相关运算,直接将其作为叠层衍射算法的约束,迭代恢复相位重建物体。采用叠层迭代引擎(PIE)[82-84]的改进算法(ePIE)[85]作为相位检索算法,其流程如图16所示:

      (1)对空间域物函数和照明函数初始估计为$ O\left(r\right) $、$ P\left(r\right) $;

      (2)对某一个扫描位置

      $ {\psi }_{j}\left(r\right)=O\left(r\right)P[r-c\left(j\right)] $傅里叶变换到空间频域${{\mathit\Psi }_{j}\left(u\right)=F[\psi }_{j}\left(r\right)]$;

      (3)提取(2)中频谱的相位信息,并用测量的衍射强度谱$ {I}_{j} $做约束,即${\mathit\Psi}_{j}'\left(u\right)=\sqrt{{I}_{j}}\dfrac{{\mathit\Psi}_{j}\left(u\right)}{\left|{\mathit\Psi}_{j}\left(u\right)\right|}$;

      (4)逆傅里叶变换到空间域

      (5)更新物函数和照明函数:

      (6)将更新后的物函数和照明函数作为下一个扫描位置的初始估计,重复步骤(2)~(5);

      (7)运算所有扫描位置视为一次迭代,重复步骤(2)~(6);

      (8)满足一定条件后,输出恢复的物函数。

      叠层迭代引擎与散斑解自相关采用的传统相位检索算法[86-88]都是在空间域和空间频域来回迭代,不同的是,传统相位检索算法仅能利用光学记忆效应范围内的单个区域散斑图案,约束条件是非负实数和单区域衍射强度谱,这导致了相位的解不唯一,收敛速度慢,视场受限等;而结合PIE能够采集超过光学记忆效应范围的多个区域的衍射强度谱,约束条件是一系列图像集,且相邻图像间存在高冗余度,这克服了原算法收敛速度慢的问题,对噪声鲁棒性更强,同时视场取决于小孔扫描范围。

      Figure 16.  ePIE algorithm flow

    • 事实上,基于傅里叶域浴帘效应的散斑相关技术是一种解相位过程。在满足远场条件的情况下,通过傅里叶域浴帘效应,能够获取散射介质后物体的频谱信息,但相位信息是丢失的,对采集的散斑图前期处理仅能获得频谱强度信息,后续需经过相位迭代算法重建物体。而现有的多种计算成像技术[89-92]也是解相位技术,比如傅里叶叠层成像技术(FP)[93-96]、叠层衍射成像、散斑自相关技术等。基于傅里叶域浴帘效应的散斑相关技术具有实验装置简单的特点,很容易与这些同样是解相位的计算成像技术相结合。

      (1) FP是一种新兴的超分辨计算成像技术,最早由Zheng等[93]提出,并应用于显微成像领域,称为傅里叶叠层显微成像技术(FPM)。FPM利用多角度的LED阵列照明物体,形成频谱平移,这样原本无法记录的高频信息就通过系统的有限通频。相机采集一系列低分辨率图像,但图像不可避免地丢失相位。通过FPM的相位迭代算法,相位信息恢复的同时,高频部分也移动到正确位置,最后重建出高分辨率图像。此外,相机记录的相邻图像在频域存在重叠,这极大地提高了FP对噪声的鲁棒性。傅里叶叠层成像技术与傅里叶域浴帘效应存在技术共同点,且FP无需借助机械仪器和参考光,具有实验装置和实验光路简单的特点,不难与傅里叶域浴帘效应结合。两者结合,将有望实现动态散射介质后非侵入式的高分辨甚至超分辨散射成像[97]

      (2)叠层衍射成像技术是一种大视场的相干衍射成像技术,它的提出是为了解决电子衍射测量的相位恢复问题,后来被应用到X射线和可见光成像领域。叠层衍射成像技术扫描照明物体不同区域,形成一系列衍射图,但相机仅能记录强度模式,通过相位迭代算法PIE,恢复相位重建物体。叠层衍射成像技术是基于夫琅禾费衍射提出的,但实际上已有多个实验证明可利用物体的菲涅耳衍射恢复成像[98-100]。借助机械扫描的重叠,叠层衍射成像技术无需参考光,光路也并不复杂。同样是解相位技术,其与傅里叶域浴帘效应结合,有望实现动态散射介质后任意位置物体非侵入式的大视场散射成像。

      (3) Katz等[41]提出的散斑自相关方案仅利用单帧散斑图样,解自相关处理得到物体空间频谱强度信息,再通过相位迭代算法就可恢复出物体的图像。该方案装置简单,成本低,也是求解相位的计算成像技术。当物体位于内外两层散射介质后时,利用傅里叶域浴帘效应,记录外层散射介质表面上物波经内部散射层后的衍射光场分布,有望实现内外两层动态散射介质后非侵入式的单帧散射成像。这种结合方式虽然提供了一种可参考的方法,但是散射介质厚度影响傅里叶域浴帘效应采集投影在介质表面的衍射图像的分辨率,也制约着散斑自相关技术的应用,同时,散斑自相关技术要求记录端与散射介质的距离能够满足采样要求,因此提出的傅里叶域浴帘效应与散斑自相关结合方式的应用场景目前十分有限,仍需更进一步的探究扩展。

    • 浴帘效应是一种用于描述待观测目标、散射介质和探测器间的相对位置关系如何影响观测图像质量的现象。基于调制传递函数,浴帘效应本质是散射介质的位置变化引起散射系统空间截止频率的变化,从而影响图像清晰度。散射介质作为“浴帘”时,其带来的相位像差并不影响探测器记录的强度模式,可等效为屏幕,具有动态免疫的特性。结合浴帘效应或者傅里叶域浴帘效应的散射成像技术能够克服对光学记忆效应的依赖,且打破只能应用于静态散射介质的限制,具有动态免疫、非侵入式、低成本、操作简单、高分辨率等优点,可以实现静态散射介质、动态散射介质包围下的物体成像恢复。

      此外,基于傅里叶域浴帘效应的散射成像技术本身是一种解相位的过程,而现有的多种计算成像技术如叠层衍射成像、傅里叶叠层技术、散斑自相关等同样是求解相位的技术。基于傅里叶域浴帘效应的散射成像技术与该类技术具有共同点,实验装置和光路不复杂,不难与其结合,有望提升现有散射介质后物体的恢复成像技术能力。

Reference (100)

Catalog

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return