Volume 51 Issue 8
Aug.  2022
Turn off MathJax
Article Contents

Liu Honglin. Some thoughts about the current research situation of imaging through scattering media (invited)[J]. Infrared and Laser Engineering, 2022, 51(8): 20220261. doi: 10.3788/IRLA20220261
Citation: Liu Honglin. Some thoughts about the current research situation of imaging through scattering media (invited)[J]. Infrared and Laser Engineering, 2022, 51(8): 20220261. doi: 10.3788/IRLA20220261

Some thoughts about the current research situation of imaging through scattering media (invited)

doi: 10.3788/IRLA20220261
  • Received Date: 2022-07-04
  • Rev Recd Date: 2022-08-01
  • Available Online: 2022-08-31
  • Publish Date: 2022-08-31
  • Optical imaging through scattering media is a long pursued yet unresolved problem. Researchers propose and develop kinds of methods and techniques, from the earliest time gating and spatial filtering techniques, which utilize only ballistic photons, to subsequent wavefront shaping, scattering matrix measurement and speckle autocorrelation imaging by taking advantage of scattered photons, to the popular deep learning methods latterly. Although all methods and techniques are verified by proof-of-concept experiments with thin scattering media, such as diffusers, zinc oxide layers and slices of biological tissue, they all fail rapidly as the thickness increases. The longstanding thickness challenge is still a bottleneck. In the commentary, I summarized and compared the methods and techniques in the field, reviewed the mainstream viewpoints, i.e., wavefront is completely scrambled after scattering media, analyzed the reason for the failure of existing methods and techniques through thick scattering media, and discussed the potential research directions to solve the problem ultimately in future.
  • [1] Wang Lihong V, Beare Gene K. Breaking the optical diffusion limit: Photoacoustic tomography[C]//Frontiers in Optics 2010/Laser Science XXVI, 2010: FWY2.
    [2] Liu Honglin, Lai Puxiang, Gao Jingjing, et al. Alternative interpretation of speckle autocorrelation imaging through scattering media [J]. Photonic Sensors, 2022, 12: 220308. doi:  10.1007/s13320-022-0654-9
    [3] Zhang X, Gao J, Gan Y, et al. Different channels to transmit information in scattering media [J]. arXiv, 2022: 2207.10270. doi:  10.48550/arXiv.2207.10270
  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Article Metrics

Article views(356) PDF downloads(182) Cited by()

Related
Proportional views

Some thoughts about the current research situation of imaging through scattering media (invited)

doi: 10.3788/IRLA20220261
  • 1. Key Laboratory of Quantum Optics, Shanghai Institute of Optics and Fine Mechanics, Chinese Academy of Sciences, Shanghai 201800, China
  • 2. Center of Materials Science and Optoelectronics Engineering, University of Chinese Academy of Sciences, Beijing 100049, China

Abstract: Optical imaging through scattering media is a long pursued yet unresolved problem. Researchers propose and develop kinds of methods and techniques, from the earliest time gating and spatial filtering techniques, which utilize only ballistic photons, to subsequent wavefront shaping, scattering matrix measurement and speckle autocorrelation imaging by taking advantage of scattered photons, to the popular deep learning methods latterly. Although all methods and techniques are verified by proof-of-concept experiments with thin scattering media, such as diffusers, zinc oxide layers and slices of biological tissue, they all fail rapidly as the thickness increases. The longstanding thickness challenge is still a bottleneck. In the commentary, I summarized and compared the methods and techniques in the field, reviewed the mainstream viewpoints, i.e., wavefront is completely scrambled after scattering media, analyzed the reason for the failure of existing methods and techniques through thick scattering media, and discussed the potential research directions to solve the problem ultimately in future.

  • 光学成像是我们感知认识世界的一种重要方式,日常生活中80%以上的信息都是通过视觉成像获取的。传统的光学成像基于几何“点到点”成像(如摄影、显微等)或者波前反演重建(如全息、衍射成像等)。只有在自由空间,即光的传播路径能够被准确地描述和预测的情况下,这些方法才适用。生活中,散射介质无处不在,例如云雾霾、牛奶和污染的水体等浑浊溶液、生物组织、多模光纤等。散射介质内大量随机无序的折射率起伏导致波前被扰乱,点到点映射被破环。

    为了看清看透散射介质,研究人员孜孜以求数十年,发展了多种光学成像方法和技术。主要可以分为以下几类:一、选择弹道光,如时间门、相干门、共聚焦和双/多光子成像等技术;二、补偿散射造成的影响,如波前整形、光学相位共轭、散射矩阵测量等;三、利用散斑的统计性质,主要有散斑扫描、散斑反卷积、散斑自相关成像;四、利用大数据建立神经网络实现定向映射,即深度学习等。上述几类技术均在本期《红外与激光工程》“散射成像与非视域成像”专栏文章中涉及到,欢迎读者参阅。不同种类的散射介质尺寸悬殊,动态特性、散射参数和结构等差异巨大,适用的方法也不同。透射弹道光的强度随散射介质厚度增加指数衰减,所以利用弹道光的技术成像深度或厚度都非常有限,只有几个光学厚度而已。在生物软组织里,一般对应于数百μm;雾霾天气下,则对应约一个能见度,这远不能满足实际的需要。要想突破厚度限制,就需要利用散射光。前述后三类方法则是基于不同的思路来利用散射光。波前整形和相位共轭通过迭代或光学导星等辅助手段预先测量获得优化的补偿波前,散射矩阵测量则是通过多次改变输入测量输出构建散射矩阵后再以算法补偿散射的影响,这些方法只适用于静态或准静态的散射介质。尽管利用高速相机、数十kHz的数字微反射镜DMD等先进器件,响应时间提高到了ms量级,仍然难以适应绝大部分场景。 相比之下,散斑自相关成像这类方法实验结构简单、操作简便、响应快,但成像视场受记忆效应范围限制。利用先验信息和多次测量等方法可一定程度上增大记忆效应范围,但提升有限,并且成像分辨率普遍较低,主要原因是有限的样本平均导致大量的细节信息被淹没在噪声中无法提取。随着计算机算力的提升和神经网络技术的快速发展,深度学习也被引入到透散射介质成像中,经过大量数据训练的网络可以很好地预测散射介质后的未知物体,图像细节更多,也不受记忆效应范围的限制。但深度学习普遍存在泛化性差的问题,且神经网络是一个“黑盒子”。散射介质也是一个“黑盒子”,用一个未知的黑盒子模拟预测另一个黑盒子,物理上是不可靠的,我们无法获知神经网络在多大程度上模拟了散射介质的哪些特性,相似的边界在哪里,因此制约了其可能的应用。

    上述三类方法的一个共性问题是无法对厚散射介质成像。尽管都经过了概念性验证,但这些方法并未能把成像的深度或厚度边界提高多少。一旦超出光学弥散极限[1],即经过相应厚度的传播,散射光子方向完全随机化,在一般生物软组织中对应的厚度~1 mm,这些方法基本都失效。概念性验证实验中所采用都是薄散射介质,例如毛玻璃、组织切片、氧化锌粉末层。目前,散射成像界普遍接受的观念是光经过散射介质后波前被完全随机化,但信息并没丢失,信息仍然包含在散射光中,相关透过散射介质成像技术都是从散射光提取信息的。如果这个观念无误,为什么这些技术对厚度这么敏感?光学弥散极限前后,散射光的分布和强度似乎并无显著不同。显然,要突破厚度瓶颈,从根本上解决散射成像难题,我们必须要重新审视现有的方法和技术,是否只从散射光提取信息?散射成分随介质厚度增加有何变化?

    实际上,经过薄的散射介质后,往往还有一定量的弹道光,尽管散射光比重大,淹没了弹道光。但相比于散射光,弹道光对介质内、外的各种运动不敏感,因而波前整形、深度学习等从弹道光提取信息的效率会更高。这也是这类方法透过薄散射介质成像效果好的主要原因之一。另外,即便是散射光,也分少次散射光和多次散射光,尤其是对各向异性因子大于0的散射介质而言,其方向和能量分布也有所不同。经过薄的各向异性散射介质,少次散射光仍然保有一定的方向优势,换而言之,携带信息的波前未被完全破环。而随着厚度增加,原始波前会被破坏殆尽。不同散射成分对运动的敏感性也有差异,对应的携带信息的能力和提取信息的难度也有所不同。至少对于补偿类的方法,少次散射光相对更稳定,受介质震动、布朗运动等扰动的影响小、对探测面上空间分辨率的要求更低,更容易被补偿。实践上这类方法一般采取透射式结构,且只在光轴附件收集光,这种情况下,少次散射光的比例更高。当偏离光轴位置或者采用反射式结构时,补偿的难度急剧提升,从而导致实验失败。随着介质厚度增加,弹道光强度指数衰减,同时少次散射且保有一定方向优势的散射光也减少。并且随着厚度增加,光在散射介质内传播的路径越发复杂,对介质内的散射颗粒的热运动、外部震动等干扰越敏感。以散斑退相干时间来衡量,通过1 mm小鼠大脑皮层的散斑退相干时间约10 ms,通过3 mm大脑皮层的退相干时间就只有0.3 ms左右。对于云雾霾等大尺度散射体,退相干时间就更短,一般是微秒级或者更短。同时,散射介质内光波传播过程非常复杂,可能存在吸收、倏逝波等非互易现象,这种情况下补偿的效率会进一步下降。不难看出,元器件的发展和技术的迭代也难以从根本上克服散射成像的厚度难题。

    本期专栏文章介绍的非视域成像可以看作是一类特殊的散射成像,特殊之处在于散射介质由分立的随机散射面构成。光源和散射面、散射面和目标、散射面和探测器之间的光场均是是自由传播,建立解析模型相对容易。很多散射成像的方法,比如时间飞行法、散斑自相关成像等也适用于非视域成像。并且,非视域成像适用的场景不同于散射成像,常用于各种拐角成像场景。

    散射成像未来的方向在哪里?主流的散射成像方法都把散射介质看作一个黑盒子,关注的只有输入和输出,并不涉及中间过程。目前这些方法都碰到相同的瓶颈,这说明透过散射介质成像的核心问题并未解决,只在外部调制输入解调输出并不能真正解决问题。从信息的角度看,成像的本质是空间信息的传递,传递需要信道。信道带宽决定了传递信息的效率和信噪比。散射成像中信道由散射介质和前后的空间及光学元件组成。未来可能的发展方向是从信道的角度建模解构散射介质以及空间信息在介质内的传递,理解空间信息在介质内的传递方式、传递过程和传递效率。只有在了解“黑盒子”运行机理的基础上,我们才更有可能从根本上突破瓶颈,实现不受厚度限制的散射成像。

    通过把散射介质分解成大量随机分布的小孔,参考文献[2]提出了一种简单的散射信道模型。类比传统信息理论,不难看出,非相干照明提供了一种信源编码方式,目标整体作为一个信息元胞,编码后的信息元胞被耦合进小孔信道传播。小孔的重叠、畸变、纵向组合延伸等会造成信道串扰、视场改变等,进而影响信息的传递效率。后续从散斑提取信息可以看作信宿解码,不同的解码方式,如散斑自相关成像和深度学习,提取信息的效率存在差异。进一步的研究方向包括不同种类信道的模型[3]、图像编码解码的方式和效率、信道传递效率的定量,并在此基础上构建完整的散射成像信息理论框架。

Reference (3)

Catalog

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return