下载:
-
散射现象随处可见，已严重影响了人类的生产生活，如雾霾、雨雪天气能见度降低，交通路况复杂，给出行带来不便；水下抢险救援时，高浓度的浑浊水体会阻碍消防人员的视野范围，给水下作业带来诸多阻碍；生物医学领域中，由于生物组织的存在，无法对内部结构组织成像，影响医生对病情的判断等。如何克服散射影响，实现透过散射介质成像已成为研究热点之一[1]。日常生活中，人们主要利用眼睛、相机、显微镜等感知图像信息。这些传统的可见光成像方式是人们获取外界信息的重要方式之一。主要遵循“光在均匀介质中沿直线传播”这一基本规律，其最主要的特点是“所见即所得” [2]，可以直接获取目标形态、结构等信息。然而，当光的传播过程中存在云雾、雨雪、生物组织等非均匀介质时，光在与介质经过多次的相互作用后会偏离原有方向随机传播，出现散射现象[3]，此时无法通过传统的可见光成像方式获取目标信息[4]。
光在散射介质中的传播，根据其传播过程一般可分为三个区域：即没有发生散射的弹道光区域、发生微量散射的散射增强区域、发生多次散射的强散射区域(随机行走区域)[5]。早期的研究人员认为散射光是影响目标的噪声，故致力于通过提取弹道光、抑制散射光的方式来进行成像，并发展出一系列较为成熟的方法，如门选通技术[6-7]、暗通道去雾技术[8]、光学相干层析成像[9]、共聚焦显微等[10-16]。然而，随着在散射介质中传播距离的增加，弹道光呈指数规律衰减，与散射光相比能量非常弱，无法透过较厚的散射介质成像。因此研究人员决定转换思路，考虑从能量占比较重的散射光中恢复目标信息，让散射光参与到成像过程中，即利用散射光。经过研究人员的努力，发展出一系列方法，如波前调制技术[17-20]、光学传输矩阵[21-23]、光学相位共轭[24]、散斑相关等[25-32]。其中，散斑自相关成像由于其光路简单、非侵入式且能单帧成像等优点受到科研人员的广泛关注，并衍生出了许多基于散斑相关的成像技术。
散斑相关成像技术最早于 2012 年由意大利的J. Bertolotti等提出。J. Bertolotti指出，在光学记忆范围内对隐藏在散射介质后的目标通过多角度扫描并采集相应的散斑，计算采集到的散斑自相关并结合相位恢复算法即可重建目标。2014 年，以色列的O. Katz等通过研究散斑场中像素间的相关性，对J. Bertolotti等的实验方法进行改进，利用非相干光源替代相干光源，实现了单帧散斑自相关成像，极大地提高了目标的重建效率。此后，在散斑相关成像方面，经过研究人员的不懈努力，相继实现了透过散射介质的三维成像、彩色成像、宽光谱成像等[33-40], 极大地丰富了散斑相关成像技术的发展。
然而，散斑相关成像方法受到光学记忆效应（Optical Memory Effect, OME）[41-43]范围的限制，当成像目标超出OME范围时，视场内多个目标的自相关信息在傅里叶域内会发生混叠，导致无法获取准确的目标傅里叶振幅信息，相位恢复技术也不再适用，最终限制了成像视场。文中将介绍基于散斑相关的宽视场成像技术的最新进展，分析其基本原理、技术优缺点和应用场景，并对基于散斑相关的宽视场成像技术做了展望。
-
1988 年，以色列巴伊兰大学I. Freund等人[41]研究发现，当在一定范围内改变光源入射角度时，经过散射介质在探测器上得到的散斑形状及特征保持不变，仅仅只是整体发生了平移，新形成的散斑与之前的散斑具有很强的相关性，这种现象称为光学记忆效应。随着入射角度的进一步改变，这种相关性会呈高斯型下降，直至完全消失，如图1 所示。图中，左侧为散斑自相关曲线，右侧为随着光波入射角变化的散斑。
在I. Freund等的研究中，光学记忆效应的范围只取决于散射介质的厚度，与散射介质的其他参数无关，该范围的计算公式可以表示为：
$$ C(|\Delta \theta|)=\left[\frac{k|\Delta \theta| L}{\sinh (k|\Delta \theta| L)}\right]^{2} $$ (1) 式中：k 表示波数；L 表示散射介质的厚度；Δθ 表示入射光波转动的角度；C(|Δθ|)是两个散斑间的互相关系数，当互相关系数大于 0.5 时，可认为两个散斑处于同一个光学记忆效应范围内。
光学记忆效应一开始主要应用于距离目标较远的薄散射层。随着对光学记忆效应研究的不断深入，各向异性及广义记忆效应进入了人们的视野。2015 年，B. Judkewitz等[44]发现在厚散射介质中也存在着类似光学记忆效应的现象，将其称为各向异性光学记忆效应。各向异性光学记忆效应表明，在散射介质中除了角度差异导致的散斑相关性之外，也存在平移空间相关性。基于此可实现在生物组织内部成像或聚焦扫描。2017 年，G. Osnabrugge等[45]提出了将“倾斜”和“平移”光学记忆效应包含在内的广义光学记忆效应理论框架，如图2 所示。广义光学记忆效应可实现将深层组织成像技术（如相位共轭和自适应光学）的成像视场最大化。
除了基于位置变化的光学记忆效应外，2020 年，M. Guillon等[46]利用厚度介于散射平均自由程和传输平均自由程之间的前向体散射平板，在实验和理论上证明了入射准直光束的光谱漂移会导致散斑图样在较大的光谱宽度上产生轴向同质膨胀，称为色轴记忆效应。
除空间相关性之外，研究人员发现散射介质中还存在与光谱相关的响应，光谱相关带宽 ΔλC与介质中光限制时间 Δt(ΔλC=(λ2)/(cΔt))成反比。因此，当宽谱光源通过多重散射介质时，其不同的光谱分量会产生不同的散斑图案，如图3 所示。图3（a）显示以不同波长通过 ΔλC =1.6 nm 的ZnO样品的同一区域输出的散斑：散斑与波长有很强的相关性。通过关联散斑图像，同时以 0.2 nm的步长调整连续波模式下的激光波长，可以量化散射介质的光谱相关带宽。图3（b）显示不同样品的光谱相关曲线：不同强散射介质的归一化光谱相关函数 C(Δλ)是通过将激光波长从λ=794 nm扫描到 λ=806 nm时获得的不同散斑图像相关联而获得的，步长为 Δλ=0.2 nm。这些曲线的半高全宽(Full Width Half Maxima, FWHM)定义了不同样品的光谱相关带宽 ΔλC，阴影区域代表平均值的标准偏差。基于光谱记忆效应，2015 年，D. Andreoli等人[47]提出了一种测量多重散射介质的光谱分辨透射矩阵的方法，从而允许通过波前整形对宽带光源进行确定性空间光谱控制。
图 3 光谱记忆效应实验结果。(a) 三个完全不相关波长透过同一区域输出的散斑；(b) 不同强散射介质的归一化光谱相关曲线[47]
Figure 3. Experiment results of spectral memory effect. (a) Examples of the speckle patterns at the output of a sample for three totally uncorrelated wavelengths; (b) Normalized spectral correlation functions of different strongly scattering media[47]
2019 年，S. Brasselet等[48]提出了克服波前整形技术在深度非线性生物成像应用受到光谱去相关限制的方法，为通过散射介质的多光谱非线性成像开辟了重要前景。同年，中国科学院上海光学精密机械研究所的Liu[49]等首次全面并定量描述了介质厚度、散射系数、各项异性因子、散射次数对记忆效应范围的影响，为进一步研究记忆效应提供了强有力的工具。
-
基于散斑相关的透过随机散射介质成像利用散斑在光学记忆效应范围内的相关特性，在无需散射介质先验信息的前提下实现透过散射介质成像。假设探测器上 r 处光强为I(r)，则探测器上所得到的散射场场图像可用数学表达式表示为：
$$ I(r)=\int\limits_{-\infty}^{\infty} O(r) \cdot S(r-\Delta r) {\rm{d}}^{2} r $$ (2) 式中：O(r)为被观测目标；S(r)为系统的位移不变性点扩散函数 (Point Spread Function, PSF)，也可简记为：
$$ I=O * S $$ (3) 目标信息被编码隐藏在被测信号 I 中，可通过计算 I 的自相关，将被观测目标的信息从散射场场图像中提取出来，则相关成像光学系统的成像模型为：
$$ \begin{split} I \star I =&[(O * S) \star(O * S)] =\\& [(O \star O) *(S \star S)] =\\& O \star O+C \end{split} $$ (4) 式中：★表示自相关操作；(S★S)是一个尖峰函数(本质上是宽带噪声的自相关)；(O★O)等效于目标图像的自相关；C 为附加的常数背景项。
2012 年，J. Bertolotti等[25]提出了一种非接触的透过散射介质成像技术，实现了透过复杂生物组织的目标重建，结果如图4所示。该技术在散射介质光学记忆效应范围内利用多个角度照明散射介质并记录对应的散斑。将记录到的不同角度照明的散斑减去背景后，测量信号进行自相关，并将从几次独立扫描得到的自相关求平均，得到目标的自相关信息。该技术无需获取散射介质的先验信息，理论上可针对任意静态散射介质成像。然而，由于该技术需要在记忆效应范围内进行扫描记录，无法实现单帧实时成像，使得其应用受到了极大限制。2014 年，以色列科学家O. Katz等[26]以J. Bertolotti的研究为基础，提出一种仅需单帧的无透镜散射成像技术。该技术无需多角度照明扫描，缩短了记录与解译时间，极大地拓展了散斑相关成像技术在透过散射介质成像方面的影响。基于单帧散斑相关的成像技术利用空间非相干光源照明物体，利用单帧散斑自相关与原目标自相关相似的特点，通过相位恢复算法重建散斑图像，实现对原目标的成像。成像示意图如图5所示。
2020 年，Wang等人[50]通过拼接模式，用一个小的传感器，按顺序获得许多点扩散函数不同的散斑图像，将它们拼接在一起得到一个大的散斑图像，然后根据拼接后的图像重建目标，实现透过动态散射介质的成像。该技术有效抑制了背景噪声，结构简单、速度快，解决了探测器探测范围局限造成难以重建目标的问题。
随着基于散斑相关成像技术的不断发展，多种与散斑相关的新型成像技术也不断涌现。针对动态散射介质、动态目标以及强干扰环境的基于散斑相关的透散射介质成像技术相继被提出，极大地拓展了透散射介质成像技术的应用范围。2016 年，Scarcelli等[30]提出了一种基于浴帘效应的散射成像方法。该方法通过对多帧散斑做傅里叶逆变换并叠加取平均值求得目标自相关，结合相位恢复算法得到目标重建像，实现了透过动态散射介质的清晰成像，如图6所示。
图 6 基于浴帘效应的散射成像结果。(a) 原目标；(b) 薄散射体远离目标；(c) 薄散射体紧贴目标；(d) 基于浴帘效应的散射成像系统原理图；(e) 目标重建过程[30]
Figure 6. Experimental results of scattering imaging based on shower-curtain effect. (a) Original object; (b) Object is far away from thin scatter; (c) Object is close to thin scatter; (d) Principle of scattering imaging system based on shower-curtain effect; (e) Process of object reconstruction[30]
周建英团队[51]通过引入一个辅助透镜来产生新的远场条件，扩展了傅里叶域浴帘效应的应用范围，可用于动态散射介质的光学成像问题，实现了更快的成像复原，如图7所示。
蒲继雄团队[52]在对散射层的动态运动研究中发现，利用光学记忆效应原理，通过对散斑图的单次测量并结合相位恢复算法，当散射介质的旋转角速度一定时，缩短CCD(Charge Coupled Device, CCD)摄像机的采集时间可以实现透过动态散射介质对物体的成像，成像结果如图8所示。
图 8 动态散射介质的成像结果。(a)~(d) CCD摄像机记录的旋转毛玻璃角速度分别为 4 r/min、6 r/min、8 r/min和22 r/min的数字6的随机强度；(e)~(h) 自相关；(i)~(l)重建结果[52]
Figure 8. Imaging results of dynamic scattering media. (a)-(d) Random intensities recorded by the CCD camera for the digit 6 for the angular velocity of the rotating ground glass of 4 r/min, 6 r/min, 8 r/min, 22 r/min, respectively; (e)-(h) Autocorrelation of speckle patterns; (i)-(l) Reconstruction image[52]
跟踪散射介质后的运动目标也是一项挑战，在各个领域都有着重要的应用。Cua等[53]将散斑相关技术应用在运动目标物的逐帧散斑差值分析上，实现了对于动态散射目标物的采集和捕捉，实验原理如图9所示。使用基于散斑图样互相关的平面二维运动目标跟踪方法和基于系统放大率变化的纵向运动目标跟踪方法，也可以对隐藏在散射介质后的运动目标进行实时跟踪和定位[54]。
韩申生团队[55]通过相位恢复技术，从记录的散斑图像中重建目标。根据光轴上每个中心点的不同放大率，缩放对应的散斑图，在精确的光轴位置估计下，估计出目标物的横向位移，结合已知的几何关系计算得到物体的尺寸和轴向位置，结果如图10所示。该方法简单，且具有非侵入性。
邵晓鹏团队[56]开发了一种简单的基于角度记忆效应的方法，通过连续记录散斑图像并计算互相关和自相关，可以在横向和轴向跟踪散射介质后面的运动物体，还可以同时确定旋转状态，如图11所示。
面对不同的应用场景，研究者们做出了不同的解决方案。针对强背景干扰光、低信噪比条件下的散斑相关成像问题，邵晓鹏团队[57]提出一种无需使用任何先验对象信息或复杂相位恢复算法的方法，采用一系列独特的信号处理技术，包括背景条纹消除和峰值噪声抑制，从非均匀照明散斑中提取纯物体的自相关。对位于三维空间中的两个不同光学记忆效应范围内的物体，Lu 等[58]通过使用基于散斑的差分方法，可以从两个混合散斑图中提取两个对象中的任意一个的自相关分布图，使得使用传统散斑自相关方法最终重建两个对象成为可能。Horisaki等[59]利用散斑相关和光谱记忆效应，对采集到的单帧散斑图像进行多个放大因子的缩放，并对缩放后的图像进行相关运算，生成光谱目标的三维自相关，通过三维相位恢复，最终从自相关结果中恢复目标实现单激发光谱分辨成像。针对散射介质的彩色成像问题，朱磊等人[60]提出一种基于不同颜色通道图像检索和合成图像的透散射介质彩色目标成像方法，利用三重相关技术的空间平均来恢复物体的傅里叶相位，实现通过散射介质的光谱成像，过程示意图如图12所示。
将散斑成像技术与其他技术结合同样可以实现透过散射介质的成像。司徒国海团队[61]通过将深度学习方法与散斑相关的物理机制相结合，使用两个串联的深度神经网络分别学习自相关优化和图像重建，可以实现单次非视距成像的问题，流程如图13所示。Zhu等[62]通过散斑相关理论和深度学习方法的有效结合，提出了一种基于物理信息的方法，解决不同散射场景下的泛化问题，实现可伸缩成像。除深度学习以外，与光谱编码技术[63]、双目视觉技术[64]等相结合，也能实现透过散射介质的彩色成像和三维成像等。
-
在散斑相关成像中，通过计算目标的自相关可以求出目标的傅里叶振幅信息，即
$$ F\{(O \star O)\}=|F\{O\}|^{2} $$ (5) 但该方法不能获得目标光场的相位信息，只能获取目标强度信息。为了得到目标光场的相位信息，相位恢复算法被应用到散射成像领域中。相位恢复算法的研究开始于GS(GerchbergSaxton)算法[65]，该算法需要设定一个初始值，该值的选取可以是任意的。1978 年，J. R. Fienup[66]在GS算法的基础上提出了适用于一般对象的重建算法：误差减小法(Error-Reduction, ER)。然而在实际应用中，如果要处理的图像比较大，就会出现均方误差在前几次迭代中迅速减小，但在后面的迭代中减小得非常缓慢，需要不切实际的大量迭代才可以收敛。
为了加快收敛速度，J. R. Fienup开发了更强大的输入-输出法(Hybrid Input-Output, HIO)。随着连续迭代，HIO具有给定像素处的值随着迭代次数的增加而有所波动的趋势。J. R. Fienup猜想这种趋势与下一次迭代中的输入图像是输出图像的不连续函数有关，并于 2003 年提出HIO算法的连续版本(continuous version of HIO, CHIO)[67]。CHIO旨在解决振荡输出可能出现的一些问题。图14 显示了利用HIO算法和CHIO算法经过 160 次迭代重建的图像。在这两种情况下，重建图像都是孪生图像(旋转 180°)，这被认为是可接受的方案。对于这个迭代次数，来自HIO的图像比来自CHIO的图像要差得多，表明CHIO优于HIO，尽管随着更多迭代HIO最终也收敛。
上述J. R. Fienup提出的三种相位恢复算法的缺点在于会收敛到错误的局部最小值，并且初始迭代相位的随机性导致最终的重建目标在方向、空间位置上具有随机性，进而导致了重建结果的不确定性。
为了解决这个缺陷，2016 年，Wu等人[39]提出了一种单帧非侵入式散射成像方法，将三阶相关相位恢复技术与散射成像的相位恢复过程相结合。通过对单帧散斑的三重相关分析，提取物体准确的傅里叶相位，解决了由相位恢复算法所导致的重建结果不确定问题。采用三阶相关相位恢复技术分析得到的重建结果如图15 所示。
图 15 透过散射介质重建结果。(a) 散斑；(b) 傅里叶振幅；(c) 傅里叶相位；(d) 重建目标；(e)原目标[39]
Figure 15. Reconstruction results of imaging through an opaque ground diffuser. (a) Speckle images; (b) The estimated Fourier amplitude; (c) The estimated Fourier phase; (d) Reconstruction objects (display in intensity); (e) The objects[39]
三阶相关相位恢复技术与J. R. Fienup提出的相位恢复算法的散斑相关成像相比具有以下优势：(1) 具有确定性和非迭代性；(2) 可以解决目标方向的模糊性；(3) 具有更好的抗噪性。2019 年，赵楠翔等人[68]为改进GS算法收敛速度与恢复精度，提出频域模值加权方法进行投影数据相位迭代恢复，将算法收敛速度与收敛精度提高了1.2倍以上，该算法能够有效消除重构图像伪迹。
-
随着相位恢复算法的精度与速度逐步提升，利用基于散斑相关的散射成像技术恢复的目标质量也有较大提升，在透过生物组织成像、目标姿态探测等领域都取得了广泛应用。但由于受到 OME的限制，基于相关的散射成像方法成像视场受限，严重影响散斑相关成像的进一步应用。当散射介质特征参数确定后，散射介质OME就是确定的，不会因为照明光场或目标的差异改变。当有目标处于OME范围之外时，直接利用散斑相关重建时目标会出现混叠，导致目标无法分辨。如果重建过程中可以实现重建像的解混叠，就能够实现超OME的宽视场成像。基于这个思想，多种基于先验和非先验信息的宽视场重建方法被提出，极大地拓展了散斑相关成像的应用范围，推动了散射成像的发展。
-
基于点扩散函数的散射成像方法[69-73]，由于其不依赖相位恢复算法、对噪声敏感度较低、具有良好的性能等优点一直受到科研人员广泛的关注，且在宽视场散射成像领域具有较大的进展。
当两个或多个目标在OME范围外，基于先验信息的宽视场散斑相关成像方法将记录平面散斑看作是多个目标散斑的叠加。在获取到散射介质点扩散函数(PSF)或OME范围内单个目标在记录平面上的散斑分布等信息时，利用散斑在 OME范围内的相关性，根据记录到的超OME范围目标的散斑与已知先验信息就能够实现目标的高精度重建。
2016 年，Zhuang等[74]将散斑分布看作是目标与散射介质PSF卷积的结果。当获取了散射介质的PSF后，利用解卷积方法实现透过散射介质成像。该方法在白光照明的基础上结合两个功能透镜实现了接近OME范围成像，结果如图16所示。
图 16 通过标准散射介质的实验结果。(a) 单个像素的参考散斑图(PSF)，白色虚线圆圈表示出瞳；(b) 未知目标的散斑图；(c) 通过反卷积运算从(a)和(b)得到的目标重建结果；(d) 分辨率靶的大视场成像，为确认视场大小，虚线矩形显示视场边缘前三个字母；(e) 沿x轴移动目标来测量视场，视场大小为 6.0 mm (75.0 mrad)；(f) 检索图像的类散焦特性。比例尺：200 pixel[74]
Figure 16. Experimental imaging through a standard scattering medium. (a) Reference speckle pattern (PSF) of a single pixel on projector, the white dash circle denotes the exit pupil; (b) Speckle pattern of unknown object on projector; (c) Retrieved image from (a) and (b) by a deconvolution algorithm; (d) Large view imaging of a resolution target (signed as optics worldwide) to confirm the FOV size. The insert dash rectangle shows the first three letters at the edge of the FOV; (e) Measurement of the FOV by shifting a point target along x axis, the measured FOV is 6.0 mm (75.0 mrad); (f) The defocus-like properties of retrieved images. Scale bars: 200 pixel[74]
在利用散射介质PSF信息实现透过散射介质成像的基础上，新加坡南洋理工大学的Tang等[75]于2017 年提出，在透过静态散射介质成像时，目标各个区域的PSF是固定的，利用系统PSF 的区域平移不变性，通过反卷积运算恢复目标对应的空间区域，然后在迭代过程中自动进行加权平均，将多幅区域图像进行拼接，成像视场得到了显著扩展，实现了超OME范围的宽视场散射成像，如图17所示。该方法利用了光学记忆效应范围以外的物体产生的不相关的散斑图像，提升了相机捕获信息的利用率。重建目标范围宽度达到 6650 μm，远大于仅由PSF重建的区域(2×720 μm)。该方法不仅适用于弱散射环境，对强散射环境依然适用。
图 17 (a) 实验装置示意图；(b) 目标平面上目标的空间分布，红圈表示用于测量各种空间点扩散函数的点源的空间位置；(c) 叠加重建图像，红色虚线表示视场放大[75]
Figure 17. (a) Experimental setup; (b) Spatial distribution of the objects on the object plane, red circles indicate the spatial positions of point sources for measuring the various spatial PSFs; (c) Superposed reconstruction image, dashed red circle indicates the enlarged FOV[75]
2018 年，汕头大学的Xie[76]等通过探究不同平面物体产生散斑之间的物理关系，提出基于操纵单点PSF的宽视场散射成像技术，原理示意图如图18所示。该技术发现不同位置的PSF之间具有相关性，只是变量的缩放不同：
图 18 (a) 透散射介质的宽视场反卷积三维成像示意图，虚拟PSF （绿色）可以用真实PSF （红色）来计算；(b) 不同景深目标的重建[76]
Figure 18. (a) Schematic of deconvolution 3D imaging beyond DOF limit through a scattering medium, virtual PSFs from virtual point (green) can be calculated with PSF from a real pinhole (red); (b) Reconstruction of objects with different DOFs[76]
$$ \begin{split} P S F^{\prime}\left(x_{i}, y_{i}\right)=m^{2} P S F\left(m x_{i}, m y_{i}\right) \end{split} $$ (6) 其中，m为比例因子，可以写为：
$$ m=\frac{f}{f^{\prime}}=\frac{\left(d_{i}+d_{0}\right) d_{0}^{\prime}}{\left(d_{i}+d_{0}^{\prime}\right) d_{0}} $$ (7) 式中：di和 d0 分别为不同距离参数。
由此，通过调整单个PSF的缩放比例，继而推导出其他位置的PSF，再利用反卷积算法重建OME范围之外的目标。该方法可扩展视场达五倍，且重建质量良好，恢复速度较高。
同年，国防科学技术大学的Li[77]等也提出通过空间相关性测量散射介质的PSF，实现透过散射介质的动目标探测。该方法避免了繁杂的扫描或干涉检测步骤，仅需要获取散射系统的PSF作解卷积运算。2019 年，深圳大学的Liao[78]等提出一种基于PSF序列的宽视场散射成像技术。该技术认为在非相干光照明条件下，OME附近的光被散射介质散射，在输出平面产生了互相关联但具有平移性的PSF，散斑图像即为这些平移的 PSF的叠加，示意图如图19所示，结果如图20所示。散斑图像可表示为：
图 20 沿光轴两个不同位置目标的成像示意图。(a) 实验装置示意图；(b) 不加散射介质及加散射介质的成像系统获得的图像；(c) 记录的PSF和重建的图像；(d)三维重构结果[78]
Figure 20. Imaging two objects at different positions along the optical axis. (a) Schematic of experimental setup; (b) Images obtained with a conventional imaging system without and with diffuser; (c) The recorded PSFs and the reconstructed images; (d) The reconstructed results in 3D coordinates[78]
$$ \begin{split} I =&\sum\nolimits_{{\textit{z}}=1}^{n} I_{{\textit{z}}} =\\ &\sum\nolimits_{{\textit{z}}=1}^{n}\left(O_{{\textit{z}}} * S_{{\textit{z}}}\right) =\\ &\sum\nolimits_{{\textit{z}}=1}^{n} O_{{\textit{z}}} * \sum\nolimits_{{\textit{z}}=1}^{n} S_{{\textit{z}}}+C \end{split} $$ (8) 式中：I为散斑强度；O为目标；S为点扩散函数；目标位于n个不同的轴向位置z；符号*和∑为卷积和矩阵加法运算；C为所有卷积交叉项的和。通过测量叠加不同轴向位置对应的PSF，并进行反卷积运算，实现超出轴向OME范围的宽视场散射成像。
$$ O \approx F^{-1}\left\{\frac{F\{I\}}{F\left\{\Sigma S_{{\textit{z}}}\right\}}\right\} $$ (9) 式中：F{}和F–1{}分别表示二维傅里叶变换和二维傅里叶逆变换。
另外，也有许多科研工作者相继提出了估计点扩散函数的方法，简化了系统结构，提升了运算速率。2018 年，清华大学的戴琼海[79]等人提出一种基于估计散斑图像分布的宽视场散射成像技术。通过利用散斑相关和相位恢复算法可直接重构的训练目标作为估计模型的输入，结合散斑建模与最小二乘优化算法估计散斑图像的特性分布，从而得到强度矩阵，最后对散斑图像作反卷积运算，实现待测目标的重构。该方法可针对复杂目标进行高质量重构，在数据集较少的情况下也具有较强的鲁棒性。同年，周建英课题组[80]提出不同波长的点扩散函数与坐标尺度的点扩散函数具有很强的相关性，进而计算得到新的缩放因子，并通过光谱点扩散函数近似推导参考点扩散函数。该方法可实现单帧成像，且成像便捷。
笔者课题组也对基于先验信息的宽视场散射成像方法进行了研究。2017 年，西安电子科技大学的邵晓鹏[40]等通过一组不同散斑图像序列，依据其相位多样性实现无参考、非侵入式的PSF 估计。同年，提出散斑图像是目标边缘与PSF的卷积[81]，利用调制光源结合偏振成像实现边缘提取，进而推导出目标的边缘PSF，依此估计总体PSF，该方法估计准确度高、目标重建质量良好。2019 年，Guo等[82]提出通过将已知目标或 PSF作为先验信息，通过减去已知目标的自相关，从相机强度图像的叠加自相关中提取出未知目标的自相关。然后，采用相位恢复算法实现了超出OME范围的目标重建，如图21所示，该方法也具有重建扩展目标的能力。
-
基于先验信息可以实现超OME范围的宽视场成像，但当先验信息无法获取或先验信息不准确时，成像质量急剧下降甚至无法成像，限制了该类技术的应用。如何减少对先验信息的依赖，扩大其适用范围，是散斑相关成像急需解决的一个重要问题。
2020 年，西安电子科技大学的Li等[83]提出了一种高效空间信息分离的散射成像方法，首次在无需先验信息的前提下实现了透过散射介质的多目标超OME成像。该技术利用OME范围外不同位置物体产生散斑图的独立特征，通过独立成分分析技术(Independent Component Analysis, ICA)从混合散斑图像中提取不同组分的子散斑信息，结合相位恢复技术重构出不在同一视场内的目标信息，实现超OME散射成像，成像视场超出横向OME范围约 5.6 倍、纵向OME范围约 7 倍，解决了散斑图像的解混叠、分解和分离问题。流程如图22所示，实验结果如图23所示。
图 23 多目标超三维光学记忆效应范围的散射成像实验结果。(a) 原始散斑图；(b) 利用ICA从(a)中提取独立特征；(c) 目标等效模型；(d) 利用散斑相关成像方法直接得到(a)及其自相关关系；(e) 基于独立成分分析的散射成像方法的结果。(a)和(b)的比例尺为 1 mm[83]
Figure 23. Experiment results of multi-targets' imaging beyond 3D OME range through a scattering layer. (a) Raw captured speckles; (b) Extracted independent speckles from (a) using ICA; (c) Equivalent model of the ground truth object; (d) Autocorrelations of (a) and their corresponding retrieved objects directly using the speckle correlation method; (e) Experiment results of imaging through a scattering layer using ICA. Scale bars in (a) and (b) are 1 mm[83]
同年，清华大学的金欣等[84]提出了一种用于宽视场散射成像的盲目标位置检测方法，原理如图24所示。在多目标物组成的视场远大于记忆效应范围的情况下，利用盲目标的频谱猜测和能量限制的迭代优化算法，通过低串扰的区域分配策略实现混叠自相关的无先验分离，并通过改进相位恢复算法重建各个目标物的空域分布，实现无先验信息的宽视场多目标重构。该方法可在无需任何目标先验信息的条件下得到成像目标的数量和位置信息，具有较高的有效性和普适性，且可以与其他散射成像技术配合，进一步提升成像效果。
2022 年，西安电子科技大学的Zhu等[85]提出了基于 “散斑指纹”成对去卷积的图像重建方法，如图25所示。该方法省去了相位恢复算法，简化了整个恢复过程，实现了透过散射介质的超OME范围的非侵入式成像。在随机改变光照的情况下，通过荧光发射器在探测器上产生一组独特的散斑图像，每个散斑图像构成一个“散斑指纹”，并使用非负矩阵分解算法对采集的散斑图像进行分解。最后，通过探究“散斑指纹”之间的相关性实现透过散射介质超OME范围的非侵入式成像。针对荧光染色的花粉粒和纤维素纤维，使用相同重建过程依旧能够实现目标的重建。但物体越复杂，所需的独立光照数量就越大。通过旋转散射介质可以产生非常多的独立照明，且可以利用不同散射介质的旋转调整散射角度。
图 25 实验装置和重建原理示意图。(a) 实验装置示意图。相干光源照亮旋转散射介质，通过具有随机调制散斑图像的散射介质激发荧光物体，荧光物体一经激发，相机便会将发出的信号记录下来。Ifluo是一系列对应不同随机散斑照明的荧光散斑。使用非负矩阵分解算法从 Ifluo中恢复指纹；(b) 对所有可能的指纹进行两两反卷积；(c) 每次反卷积的结果提供不同散斑的相对位置；(d) 通过每个结果图像叠加，可以恢复部分图像；(e) 所有的局部图像都可以根据相对位置合并成最终的重建图像。虚线表示OME范围，比例尺寸为 10 μm。RD：旋转散射介质，DM：二向色散镜，OB：物镜，Scat.：散射介质，Fluo. Obj.：荧光目标，SF：光谱滤波片，TL：镜筒透镜[85]
Figure 25. Schematic of the experimental setup and reconstruction principle. (a) Schematic view of experimental setup. A coherent light source illuminates a rotating diffuser in order to excite the fluorescent object through a scattering medium with a random modulated speckle pattern. Once excited, the emitted signal from the fluorescent objects is recorded with a camera. Ifluo is a series of fluorescent speckles corresponding to different random speckle illuminations. The fingerprints can be recovered from Ifluo by using NMF. Fingerprint-based reconstruction; (b) Pairwise deconvolution between all the possible pairs of emitter fingerprints is performed; (c) The result of each deconvolution provides the relative position between one emitter and its neighbors; (d) By adding the resulting images for each emitter, it is possible to recover a partial image of the object centered at that emitter; (e) All the partial images can be merged into the final reconstruction according to the relative position between neighboring emitters. Dashed circle indicates the optical memory range. Scale bar sizes are 10 μm. RD: rotating diffuser, DM: dichroic mirror, OB: objective, Scat. : scattering medium, Fluo. Obj. : fluorescent object, SF: spectral filter, TL: tube lens[85]
-
近年来，深度学习技术由于其独有的数据自学习能力受到计算成像领域的科研人员关注，基于深度学习的散射成像技术利用神经网络的特征自动提取能力对数据进行训练，得到反映散射介质内在传输关系的模型，从而实现目标的恢复。该方法可以尽可能地挖掘传输机理及数据潜在特征，具备较好的成像效果。
2020 年，南京理工大学的Guo等人[86]提出了一种卷积神经网络PDSNet(Pragmatic De-scatter ConvNet)，以数据驱动的方式，结合传统散斑相关成像算法的原理，通过网络设计和优化，实现对散射介质后隐藏目标的重构。神经网络结构如图26所示，结果如图27所示。
该方法实现了 27 dB以上的PSNR(Peak Signal to Noise Ratio, PSNR)，当物体尺度超过光学记忆效应范围 13 倍时，出现了下降的趋势。当物体尺度超过光学记忆效应范围 20 倍时，出现了显著的下降。在 40 倍光学记忆效应范围内的平均PSNR为 24.7628 dB。通过增加PDSNet 的层数，提高参数的数量，可以处理更复杂的目标。针对没有训练尺度的目标，恢复目标平均 PSNR在 22 dB以上，并且能够实时成像人脸等复杂物体。
2021 年，南京理工大学的Zhu等[62]提出一种基于物理感知的学习方法，将散斑相关原理、物理先验信息与卷积神经网络相结合，通过预处理，物理先验信息可以为目标重建提供一个优化方向，解决了不同散射场景下数据模型的泛化问题，降低了深度学习模型的数据依赖性，提高了特征提取效率，实现了透过散射介质的隐藏目标重建，且具备较大视场，结果如图28所示。
基于物理感知的学习方法具有普适性，可以实现透过散射介质后不同复杂目标和稀疏目标甚至人脸微表情的准确重构，突破了传统散斑相关方法的视场限制，可应用于多重体散射场景。
以上的基于散斑相关的宽视场散射成像技术研究均为近几年较具有代表性的成果进展，除此之外，许多科研工作者也通过引入参考点[87]、动态光散射成像[88]、空间滤波[89]、散射传输矩阵[90]、散斑差分[58]等方法，相继实现了拓宽成像视场的目的。这些技术推动了生物医学和国防科技等领域的发展，为后续宽视场的散射成像技术提供了重要的借鉴意义。
-
文中围绕基于散斑相关的宽视场成像技术，首先介绍了散射介质中的光学记忆效应，在光学记忆效应的基础上，介绍了散射成像的卷积模型，利用该模型描述了散斑相关成像理论。在基于光学记忆效应的散斑相关中，通过计算散斑自相关恢复了目标的傅里叶振幅，利用相位恢复算法恢复了目标的傅里叶相位，实现非侵入式透过散射介质成像。接下来针对散斑相关成像视场角小的问题，介绍了当前基于散斑相关的宽视场成像技术研究现状。最后展望了未来宽视场散射成像技术的应用前景及发展趋势。
综合相关文献及研究来看，虽然宽视场散射成像技术取得了一定的进展，但仍存在一些问题需要解决。例如在实际场景中散射介质大部分都是动态的，如何实现透过动态散射介质的宽视场成像目前还没有很好的解决方法，且这类技术受限于散射介质厚度，仅可透过类似毛玻璃、组织切片等薄散射介质成像，大大限制了该技术的适用范围。随着深度学习、人工智能和计算成像技术的发展，将新兴技术及理念引入到散射成像过程中，将极大地推动散射成像发展，拓宽散射成像应用范畴。可以预见，散射成像将朝着更快速的方向发展，有望广泛应用于人们的日常生活及生产中，对工业、科研、生物医学等领域产生深远影响。
Research progress of wide-field imaging technology based on speckle correlation （invited）
-
摘要: 散射成像技术因具备透过生物组织等散射介质后清晰成像的能力而受到广泛关注。近年来，基于散斑自相关的成像方法以其非接触、无需先验信息且能够单帧成像的特点得到迅速发展。然而，散斑自相关成像受光学记忆效应的限制。当多个目标之间的距离在记忆效应范围之外时，基于散斑自相关的成像方法会导致目标自相关信息在相关域发生混叠，导致成像严重退化。文中在光学记忆效应及散斑自相关成像基本原理的基础上，首先介绍了基于散斑自相关和与散斑相关成像有关的其他散射成像技术。接着介绍了拓展光学记忆效应的主要技术及相关应用。最后总结了基于散斑相关的宽视场成像技术目前存在的问题，并对未来的发展应用进行了展望。Abstract: Scattering imaging has attracted widespread attention because of its ability to clearly image through scattering media such as biological tissue. In recent years, scattering imaging based on speckle autocorrelation has developed rapidly because of its noncontact nature, lack of prior information and single-frame imaging characteristics. However, speckle autocorrelation imaging is limited by the optical memory effect (OME). When the distance between multiple targets is beyond the range of OME, the autocorrelation information of different targets is aliasing in the correlation domain, resulting in a sharp drop in image quality. Based on the basic principles of the optical memory effect and speckle correlation imaging, firstly, we introduce the imaging techniques related to speckle autocorrelation and speckle correlation. Then, the main technologies and related applications of expanding the OME range are shown. Finally, we summarize the current problems of wide-field imaging technology based on speckle correlation and make suggestions for future developments and applications.
-
Key words:
- scatter imaging /
- extended field of view /
- speckle correlation /
- optical memory effect
-
图 3 光谱记忆效应实验结果。(a) 三个完全不相关波长透过同一区域输出的散斑；(b) 不同强散射介质的归一化光谱相关曲线[47]
Figure 3. Experiment results of spectral memory effect. (a) Examples of the speckle patterns at the output of a sample for three totally uncorrelated wavelengths; (b) Normalized spectral correlation functions of different strongly scattering media[47]
图 6 基于浴帘效应的散射成像结果。(a) 原目标；(b) 薄散射体远离目标；(c) 薄散射体紧贴目标；(d) 基于浴帘效应的散射成像系统原理图；(e) 目标重建过程[30]
Figure 6. Experimental results of scattering imaging based on shower-curtain effect. (a) Original object; (b) Object is far away from thin scatter; (c) Object is close to thin scatter; (d) Principle of scattering imaging system based on shower-curtain effect; (e) Process of object reconstruction[30]
图 8 动态散射介质的成像结果。(a)~(d) CCD摄像机记录的旋转毛玻璃角速度分别为 4 r/min、6 r/min、8 r/min和22 r/min的数字6的随机强度；(e)~(h) 自相关；(i)~(l)重建结果[52]
Figure 8. Imaging results of dynamic scattering media. (a)-(d) Random intensities recorded by the CCD camera for the digit 6 for the angular velocity of the rotating ground glass of 4 r/min, 6 r/min, 8 r/min, 22 r/min, respectively; (e)-(h) Autocorrelation of speckle patterns; (i)-(l) Reconstruction image[52]
图 15 透过散射介质重建结果。(a) 散斑；(b) 傅里叶振幅；(c) 傅里叶相位；(d) 重建目标；(e)原目标[39]
Figure 15. Reconstruction results of imaging through an opaque ground diffuser. (a) Speckle images; (b) The estimated Fourier amplitude; (c) The estimated Fourier phase; (d) Reconstruction objects (display in intensity); (e) The objects[39]
图 16 通过标准散射介质的实验结果。(a) 单个像素的参考散斑图(PSF)，白色虚线圆圈表示出瞳；(b) 未知目标的散斑图；(c) 通过反卷积运算从(a)和(b)得到的目标重建结果；(d) 分辨率靶的大视场成像，为确认视场大小，虚线矩形显示视场边缘前三个字母；(e) 沿x轴移动目标来测量视场，视场大小为 6.0 mm (75.0 mrad)；(f) 检索图像的类散焦特性。比例尺：200 pixel[74]
Figure 16. Experimental imaging through a standard scattering medium. (a) Reference speckle pattern (PSF) of a single pixel on projector, the white dash circle denotes the exit pupil; (b) Speckle pattern of unknown object on projector; (c) Retrieved image from (a) and (b) by a deconvolution algorithm; (d) Large view imaging of a resolution target (signed as optics worldwide) to confirm the FOV size. The insert dash rectangle shows the first three letters at the edge of the FOV; (e) Measurement of the FOV by shifting a point target along x axis, the measured FOV is 6.0 mm (75.0 mrad); (f) The defocus-like properties of retrieved images. Scale bars: 200 pixel[74]
图 17 (a) 实验装置示意图；(b) 目标平面上目标的空间分布，红圈表示用于测量各种空间点扩散函数的点源的空间位置；(c) 叠加重建图像，红色虚线表示视场放大[75]
Figure 17. (a) Experimental setup; (b) Spatial distribution of the objects on the object plane, red circles indicate the spatial positions of point sources for measuring the various spatial PSFs; (c) Superposed reconstruction image, dashed red circle indicates the enlarged FOV[75]
图 18 (a) 透散射介质的宽视场反卷积三维成像示意图，虚拟PSF （绿色）可以用真实PSF （红色）来计算；(b) 不同景深目标的重建[76]
Figure 18. (a) Schematic of deconvolution 3D imaging beyond DOF limit through a scattering medium, virtual PSFs from virtual point (green) can be calculated with PSF from a real pinhole (red); (b) Reconstruction of objects with different DOFs[76]
图 20 沿光轴两个不同位置目标的成像示意图。(a) 实验装置示意图；(b) 不加散射介质及加散射介质的成像系统获得的图像；(c) 记录的PSF和重建的图像；(d)三维重构结果[78]
Figure 20. Imaging two objects at different positions along the optical axis. (a) Schematic of experimental setup; (b) Images obtained with a conventional imaging system without and with diffuser; (c) The recorded PSFs and the reconstructed images; (d) The reconstructed results in 3D coordinates[78]
图 23 多目标超三维光学记忆效应范围的散射成像实验结果。(a) 原始散斑图；(b) 利用ICA从(a)中提取独立特征；(c) 目标等效模型；(d) 利用散斑相关成像方法直接得到(a)及其自相关关系；(e) 基于独立成分分析的散射成像方法的结果。(a)和(b)的比例尺为 1 mm[83]
Figure 23. Experiment results of multi-targets' imaging beyond 3D OME range through a scattering layer. (a) Raw captured speckles; (b) Extracted independent speckles from (a) using ICA; (c) Equivalent model of the ground truth object; (d) Autocorrelations of (a) and their corresponding retrieved objects directly using the speckle correlation method; (e) Experiment results of imaging through a scattering layer using ICA. Scale bars in (a) and (b) are 1 mm[83]
图 25 实验装置和重建原理示意图。(a) 实验装置示意图。相干光源照亮旋转散射介质，通过具有随机调制散斑图像的散射介质激发荧光物体，荧光物体一经激发，相机便会将发出的信号记录下来。Ifluo是一系列对应不同随机散斑照明的荧光散斑。使用非负矩阵分解算法从 Ifluo中恢复指纹；(b) 对所有可能的指纹进行两两反卷积；(c) 每次反卷积的结果提供不同散斑的相对位置；(d) 通过每个结果图像叠加，可以恢复部分图像；(e) 所有的局部图像都可以根据相对位置合并成最终的重建图像。虚线表示OME范围，比例尺寸为 10 μm。RD：旋转散射介质，DM：二向色散镜，OB：物镜，Scat.：散射介质，Fluo. Obj.：荧光目标，SF：光谱滤波片，TL：镜筒透镜[85]
Figure 25. Schematic of the experimental setup and reconstruction principle. (a) Schematic view of experimental setup. A coherent light source illuminates a rotating diffuser in order to excite the fluorescent object through a scattering medium with a random modulated speckle pattern. Once excited, the emitted signal from the fluorescent objects is recorded with a camera. Ifluo is a series of fluorescent speckles corresponding to different random speckle illuminations. The fingerprints can be recovered from Ifluo by using NMF. Fingerprint-based reconstruction; (b) Pairwise deconvolution between all the possible pairs of emitter fingerprints is performed; (c) The result of each deconvolution provides the relative position between one emitter and its neighbors; (d) By adding the resulting images for each emitter, it is possible to recover a partial image of the object centered at that emitter; (e) All the partial images can be merged into the final reconstruction according to the relative position between neighboring emitters. Dashed circle indicates the optical memory range. Scale bar sizes are 10 μm. RD: rotating diffuser, DM: dichroic mirror, OB: objective, Scat. : scattering medium, Fluo. Obj. : fluorescent object, SF: spectral filter, TL: tube lens[85]
-
[1] Ntziachristos V. Going deeper than microscopy: The optical imaging frontier in biology [J]. Nature Methods, 2010, 7(8): 603-614. doi: 10.1038/nmeth.1483 [2] Zhu Lei, Shao Xiaopeng. Research progress on scattering imaging technology [J]. Acta Optica Sinica, 2020, 40(1): 0111005. (in Chinese) [3] 吴腾飞. 基于光学记忆效应的非侵入式散射成像 方法研究[D].西安: 西安电子科技大学, 2018: 1-18. Wu Tengfei. Non-invasive scattering imaging methods based on optical memory effect[D].Xi’an: Xidian University, 2018: 1-18. (in Chinese) [4] Tomita Y, Nakagawa K, Asakura T. Fibrous radial structure of speckle patterns in polychromatic light [J]. Applied Optics, 1980, 19(18): 3211-3218. doi: 10.1364/AO.19.003211 [5] Jin Xin, Wang Xiaoyu, Du Dongyu, et al. Progress and prospect of scattering imaging [J]. Laser & Optoelectronics Progress, 2021, 58(18): 1811002. (in Chinese) [6] Jiang Wenhan. Adaptive optical technology [J]. Chinese Journal of Nature, 2006, 28(1): 7-13. (in Chinese) [7] Zhong Wei, Zhang Xiaohui, Guan Feng, et al. Underwater full range-gated imaging radar based on high repetition-rate pulse laser [J]. Chinese Journal of Lasers, 2016, 43(11): 1101009. (in Chinese) doi: 10.3788/CJL201643.1101009 [8] He K, Sun J, Tang X. Single image haze removal using dark channel prior [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 33(12): 2341-2353. [9] Huang D, Swanson E A, Lin C P, et al. Optical coherence tomography [J]. Science, 1991, 254(5035): 1178-1181. doi: 10.1126/science.1957169 [10] Webb R H. Confocal optical microscopy [J]. Reports on Progress in Physics, 1996, 59(3): 427. doi: 10.1088/0034-4885/59/3/003 [11] Denk W, Strickler J H, Webb W W. Two-photon laser scanning fluorescence microscopy [J]. Science, 1990, 248(4951): 73-76. doi: 10.1126/science.2321027 [12] Helmchen F, Denk W. Deep tissue two-photon microscopy [J]. Nature Methods, 2005, 2(12): 932-940. doi: 10.1038/nmeth818 [13] Zhang H F, Maslov K, Stoica G, et al. Functional photoacoustic microscopy for high-resolution and noninvasive in vivo imaging [J]. Nature Biotechnology, 2006, 24(7): 848-851. doi: 10.1038/nbt1220 [14] Wang L V. Multiscale photoacoustic microscopy and computed tomography [J]. Nature Photonics, 2009, 3(9): 503-509. doi: 10.1038/nphoton.2009.157 [15] Ale A, Ermolayev V, Herzog E, et al. FMT-XCT: In vivo animal studies with hybrid fluorescence molecular tomography–X-ray computed tomography [J]. Nature Methods, 2012, 9(6): 615-620. doi: 10.1038/nmeth.2014 [16] Razansky D, Buehler A, Ntziachristos V. Volumetric real-time multispectral optoacoustic tomography of biomarkers [J]. Nature Protocols, 2011, 6(8): 1121-1129. doi: 10.1038/nprot.2011.351 [17] Vellekoop I M, Mosk A P. Focusing coherent light through opaque strongly scattering media [J]. Optics Letters, 2007, 32(16): 2309-2311. doi: 10.1364/OL.32.002309 [18] Vellekoop I M, Lagendijk A, Mosk A P. Exploiting disorder for perfect focusing [J]. Nature Photonics, 2010, 4(5): 320-322. doi: 10.1038/nphoton.2010.3 [19] Stasio N, Conkey D B, Moser C, et al. Light control in a multicore fiber using the memory effect [J]. Optics Express, 2015, 23(23): 30532-30544. doi: 10.1364/OE.23.030532 [20] Cui M. Parallel wavefront optimization method for focusing light through random scattering media [J]. Optics Letters, 2011, 36(6): 870-872. doi: 10.1364/OL.36.000870 [21] Popoff S M, Lerosey G, Fink M, et al. Controlling light through optical disordered media: transmission matrix approach [J]. New Journal of Physics, 2011, 13(12): 123021. doi: 10.1088/1367-2630/13/12/123021 [22] Popoff S, Lerosey G, Fink M, et al. Image transmission through an opaque material [J]. Nature Communications, 2010, 1(1): 1-5. [23] Choi Y, Yang T D, Fang-Yen C, et al. Overcoming the diffraction limit using multiple light scattering in a highly disordered medium [J]. Physical Review Letters, 2011, 107(2): 023902. doi: 10.1103/PhysRevLett.107.023902 [24] Yaqoob Z, Psaltis D, Feld M S, et al. Optical phase conjugation for turbidity suppression in biological samples [J]. Nature Photonics, 2008, 2(2): 110-115. doi: 10.1038/nphoton.2007.297 [25] Bertolotti J, Van Putten E G, Blum C, et al. Noninvasive imaging through opaque scattering layers [J]. Nature, 2012, 491(7423): 232-234. doi: 10.1038/nature11578 [26] Katz O, Heidmann P, Fink M, et al. Non-invasive single-shot imaging through scattering layers and around corners via speckle correlations [J]. Nature Photonics, 2014, 8(10): 784-790. doi: 10.1038/nphoton.2014.189 [27] Sun Y, Shi J, Sun L, et al. Image reconstruction through dynamic scattering media based on deep learning [J]. Optics Express, 2019, 27(11): 16032-16046. doi: 10.1364/OE.27.016032 [28] Li Y, Xue Y, Tian L. Deep speckle correlation: A deep learning approach toward scalable imaging through scattering media [J]. Optica, 2018, 5(10): 1181-1190. doi: 10.1364/OPTICA.5.001181 [29] Lerosey G, De Rosny J, Tourin A, et al. Focusing beyond the diffraction limit with far-field time reversal [J]. Science, 2007, 315(5815): 1120-1122. doi: 10.1126/science.1134824 [30] Edrei E, Scarcelli G. Optical imaging through dynamic turbid media using the Fourier-domain shower-curtain effect [J]. Optica, 2016, 3(1): 71-74. doi: 10.1364/OPTICA.3.000071 [31] Singh A K, Naik D N, Pedrini G, et al. Exploiting scattering media for exploring 3 D objects [J]. Light: Science & Applications, 2017, 6(2): e16219. [32] Salhov O, Weinberg G, Katz O. Depth-resolved speckle-correlations imaging through scattering layers via coherence gating [J]. Optics Letters, 2018, 43(22): 5528-5531. doi: 10.1364/OL.43.005528 [33] Stern G, Katz O. Noninvasive focusing through scattering layers using speckle correlations [J]. Optics Letters, 2019, 44(1): 143-146. doi: 10.1364/OL.44.000143 [34] Okamoto Y, Horisaki R, Tanida J. Noninvasive three-dimensional imaging through scattering media by three-dimensional speckle correlation [J]. Optics Letters, 2019, 44(10): 2526-2529. doi: 10.1364/OL.44.002526 [35] He H, Guan Y, Zhou J. Image restoration through thin turbid layers by correlation with a known object [J]. Optics Express, 2013, 21(10): 12539-12545. doi: 10.1364/OE.21.012539 [36] He H, Wong K S. An improved wavefront determination method based on phase conjugation for imaging through thin scattering medium [J]. Journal of Optics, 2016, 18(8): 085604. doi: 10.1088/2040-8978/18/8/085604 [37] Li H, Wu T, Liu J, et al. Simulation and experimental verification for imaging of gray-scale objects through scattering layers [J]. Applied Optics, 2016, 55(34): 9731-9737. doi: 10.1364/AO.55.009731 [38] Qiao M, Liu H, Pang G, et al. Non-invasive three-dimension control of light between turbid layers using a surface quasi-point light source for precorrection [J]. Scientific Reports, 2017, 7(1): 1-8. doi: 10.1038/s41598-016-0028-x [39] Wu T, Katz O, Shao X, et al. Single-shot diffraction-limited imaging through scattering layers via bispectrum analysis [J]. Optics Letters, 2016, 41(21): 5003-5006. doi: 10.1364/OL.41.005003 [40] Wu T, Dong J, Shao X, et al. Imaging through a thin scattering layer and jointly retrieving the point-spread-function using phase-diversity [J]. Optics Express, 2017, 25(22): 27182-27194. doi: 10.1364/OE.25.027182 [41] Freund I, Rosenbluh M, Feng S. Memory effects in propagation of optical waves through disordered media [J]. Physical Review Letters, 1988, 61(20): 2328. doi: 10.1103/PhysRevLett.61.2328 [42] Feng S, Kane C, Lee P A, et al. Correlations and fluctuations of coherent wave transmission through disordered media [J]. Physical Review Letters, 1988, 61(7): 834. doi: 10.1103/PhysRevLett.61.834 [43] Xie Xiangsheng, Liu Yikun, Liang Haowen, et al. Speckle correlation imaging: From point spread functions to light field plenoptics [J]. Acta Optica Sinica, 2020, 40(1): 0111004. (in Chinese) doi: 10.3788/AOS202040.0111004 [44] Judkewitz B, Horstmeyer R, Vellekoop I M, et al. Translation correlations in anisotropically scattering media [J]. Nature Physics, 2015, 11(8): 684-689. doi: 10.1038/nphys3373 [45] Osnabrugge G, Horstmeyer R, Papadopoulos I N, et al. Generalized optical memory effect [J]. Optica, 2017, 4(8): 886-892. doi: 10.1364/OPTICA.4.000886 [46] Zhu L, de Monvel J B, Berto P, et al. Chromato-axial memory effect through a forward-scattering slab [J]. Optica, 2020, 7(4): 338-345. doi: 10.1364/OPTICA.382209 [47] Andreoli D, Volpe G, Popoff S, et al. Deterministic control of broadband light through a multiply scattering medium via the multispectral transmission matrix [J]. Scientific Reports, 2015, 5(1): 1-8. doi: 10.9734/JSRR/2015/14076 [48] Vesga A G, Hofer M, Balla N K, et al. Focusing large spectral bandwidths through scattering media [J]. Optics Express, 2019, 27(20): 28384-28394. doi: 10.1364/OE.27.028384 [49] Liu H, Liu Z, Chen M, et al. Physical picture of the optical memory effect [J]. Photonics Research, 2019, 7(11): 1323-1330. doi: 10.1364/PRJ.7.001323 [50] Wang X, Liu H, Chen M, et al. Imaging through dynamic scattering media with stitched speckle patterns [J]. Chinese Optics Letters, 2020, 18(4): 042604. doi: 10.3788/COL202018.042604 [51] Xie X, He Q, Liu Y, et al. Non-invasive optical imaging using the extension of the Fourier–domain shower–curtain effect [J]. Optics Letters, 2021, 46(1): 98-101. doi: 10.1364/OL.415181 [52] Lu T, Liu Y, Lin H, et al. Non-invasive imaging through dynamic scattering layers via speckle correlations [J]. Optical Review, 2021, 28(5): 557-563. doi: 10.1007/s10043-021-00691-3 [53] Cua M, Zhou E H, Yang C. Imaging moving targets through scattering media [J]. Optics Express, 2017, 25(4): 3935-3945. doi: 10.1364/OE.25.003935 [54] 李慧娟. 基于散射的大景深光学成像与运动目标 跟踪技术研究[D].西安电子科技大学, 2017. Li Huijuan. Research on deep depth-of-field imaging and tracking of moving targets based on light scattering[D]. Xi’an: Xidian University, 2017.(in Chinese) [55] Wang X, Hu C, Liu H, et al. Imaging and positioning through scattering media noninvasively by bi-directional exposure [J]. Journal of Optics, 2021, 23(2): 025602. doi: 10.1088/2040-8986/abe63a [56] Guo C F, Liu J T, Wu T F, et al. Tracking moving targets behind a scattering medium via speckle correlation [J]. Applied Optics, 2018, 57(4): 905-913. doi: 10.1364/AO.57.000905 [57] Li W, Xi T L, He S F, et al. Single-shot imaging through scattering media under strong ambient light interference [J]. Optics Letters, 2021, 46(18): 4538-4541. doi: 10.1364/OL.438017 [58] He W Q, Wei Y C, Lu D J, et al. Noninvasive imaging of two isolated objects through a thin scattering medium beyond the 3D optical memory effect by speckle-based difference strategy [J]. Optica Letter, 2021, 46(23): 5954-5957. doi: 10.1364/OL.444605 [59] Ehira K, Horisaki R, Nishizaki Y, et al. Spectral speckle-correlation imaging [J]. Applied Optics, 2021, 60(8): 2388-2392. doi: 10.1364/AO.418361 [60] Zhu L, Wu Y X, Liu J T, et al. Color imaging through scattering media based on phase retrieval with triple correlation [J]. Optics and Lasers in Engineering, 2020, 124: 105796. doi: 10.1016/j.optlaseng.2019.105796 [61] Zheng S S, Liao M H, Wang F, et al. Non-line-offsight imaging under white-light illumination: A two-step deep learning approach [J]. Optics Express, 2021, 29(24): 40091-40105. doi: 10.1364/OE.443127 [62] Zhu S, Guo E L, Gu J, et al. Imaging through unknown scattering media based on physics-informed learning [J]. Photonics Research, 2021, 9(5): B210-B219. doi: 10.1364/PRJ.416551 [63] Sahoo S K, Tang D L, Dang C. Single-shot multispectral imaging with a monochromatic camera [J]. Optica, 2017, 4(10): 1209-1213. doi: 10.1364/OPTICA.4.001209 [64] Mukherjee S, Vijayakumar A, Kumar M, et al. 3D imaging through scatterers with interferenceless optical system [J]. Scientific Reports, 2018, 8(1): 1134. [65] Gerchberg R W. A practical algorithm for the determination of phase from image and diffraction plane pictures [J]. Optik, 1972, 35: 237-246. [66] Fienup J R. Reconstruction of an object from the modulus of its Fourier transform [J]. Optics Letters, 1978, 3(1): 27-29. doi: 10.1364/OL.3.000027 [67] Fienup J R. Phase retrieval with continuous version of hybrid input-output[C]//Frontiers in Optics. Optical Society of America, 2003: ThI3. [68] Zhao Nanxiang, Hu Yihua. Research of phase retrieval algorithm in laser reflective tomography imaging [J]. Infrared and Laser Engineering, 2019, 48(10): 1005005. (in Chinese) doi: 10.3788/IRLA201948.1005005 [69] Yang W, Li G, Situ G. Imaging through scattering media with the auxiliary of a known reference object [J]. Scientific Reports, 2018, 8(1): 9614. [70] Wang X, Liu H L, Hu C Y, et al. Transmissive imaging through scattering media based on MultiWavelength illumination [J]. Acta Optica Sinica, 2020, 40(16): 1611002. (in Chinese) doi: 10.3788/AOS202040.1611002 [71] Newman J A, Luo Q, Webb K J. Imaging hidden objects with spatial speckle intensity correlations over object position [J]. Physical Review Letters, 2016, 116(7): 073902. doi: 10.1103/PhysRevLett.116.073902 [72] Wang X, Liu H, Han S. Imaging through scattering media with wide spectral illumination[C]//Optoelectronic Imaging and Multimedia Technology VⅡ. International Society for Optics and Photonics, 2020, 11550 : 1155007. [73] Edrei E, Scarcelli G. Memory-effect based deconvolution microscopy for super-resolution imaging through scattering media [J]. Scientific Reports, 2016, 6(1): 33558. [74] Zhuang H C, He H X, Xie X S, et al. High speed color imaging through scattering media with a large field of view [J]. Scientific Reports, 2016, 6(1): 32696. [75] Sahoo S K, Tang D, Dang C. Single shot large field of view imaging with scattering media by spatial demultiplexing [J]. arXiv Preprint arXiv, 2017: 1707.09577. [76] Xie X, Zhuang H, He H, et al. Extended depth-resolved imaging through a thin scattering medium with PSF manipulation [J]. Scientific Reports, 2018, 8(1): 4585. [77] Li L, Li Q, Sun S, et al. Imaging through scattering layers exceeding memory effect range with spatial-correlation-achieved point-spread-function [J]. Optics Letters, 2018, 43(8): 1670-1673. doi: 10.1364/OL.43.001670 [78] Liao M, Lu D, Pedrini G, et al. Extending the depth-of-field of imaging systems with a scattering diffuser [J]. Scientific Reports, 2019, 9(1): 7165. doi: 10.1038/s41598-018-37186-2 [79] Wang Z, Jin X, Dai Q. Non-invasive imaging through strongly scattering media based on speckle pattern estimation and deconvolution [J]. Scientific Reports, 2018, 8(1): 9088. [80] Xu X, Xie X, Thendiyammal A, et al. Imaging of objects through a thin scattering layer using a spectrally and spatially separated reference [J]. Optics Express, 2018, 26(12): 15073-15083. doi: 10.1364/OE.26.015073 [81] Han P L, Liu F, Yang K, et al. Active underwater descattering and image recovery [J]. Applied Optics, 2017, 56(23): 6631-6638. doi: 10.1364/AO.56.006631 [82] Guo C F, Liu J T, Li W, et al. Imaging through scattering layers exceeding memory effect range by exploiting prior information [J]. Optics Communications, 2019, 434: 203-208. doi: 10.1016/j.optcom.2018.11.005 [83] Li W, Liu J T, He S F, et al. Multitarget imaging through scattering media beyond the 3 D optical memory effect [J]. Optics Letters, 2020, 45(10): 2692-2695. doi: 10.1364/OL.388552 [84] Wang X, Jin X, Li J, et al. Prior-information-free single-shot scattering imaging beyond the memory effect [J]. Optics Letters, 2019, 44(6): 1423-1426. doi: 10.1364/OL.44.001423 [85] Zhu L, Soldevila F, Moretti C, et al. Large field-of-view non-invasive imaging through scattering layers using fluctuating random illumination [J]. Nature Communications, 2022, 13(1): 1447. doi: 10.1038/s41467-021-27699-2 [86] Guo E, Zhu S, Sun Y, et al. Learning-based method to reconstruct complex targets through scattering medium beyond the memory effect [J]. Optics Express, 2020, 28(2): 2433-2446. doi: 10.1364/OE.383911 [87] Shi Y Y, Liu Y W, Sheng W, et al. Extending the imaging range through scattering layers to the entire correlation range [J]. Applied Optics, 2020, 59(6): 1633-1640. doi: 10.1364/AO.376902 [88] Postnov D D, Tang J, Erdener S E, et al. Dynamic light scattering imaging [J]. Science Advances, 2020, 6(45): eabc4628. doi: 10.1126/sciadv.abc4628 [89] Chen M, Liu H, Liu Z, et al. Expansion of the FOV in speckle autocorrelation imaging by spatial filtering [J]. Optics Letters, 2019, 44(24): 5997-6000. doi: 10.1364/OL.44.005997 [90] Hofer M, Brasselet S. Manipulating the transmission matrix of scattering media for nonlinear imaging beyond the memory effect [J]. Optics Letters, 2019, 44(9): 2137-2140. doi: 10.1364/OL.44.002137 -
点击查看大图
计量
- 文章访问数: 379
- HTML全文浏览量: 100
- PDF下载量: 163
- 被引次数: 0
