-
用q表示光线的位置矢量,p表示波矢矢量,单根光线可由二维相空间中的狄拉克函数来描述[6]。如图1所示。
图 1 传输截面上光线的相空间坐标示意图
Figure 1. Phase space coordinates schematic diagram of the ray on transmission cross section
一个经典的光学复信号可以表示为[4]:
$$ \begin{split} \psi (q) =\;& \left| {\psi (q)} \right|\exp (i2\pi {p / \hbar })=\\ & \left| {\psi (q)} \right|\exp (i2\pi \nu ) \end{split} $$ (1) 文中算法直接使用单帧光学测量数据来解析计算全场相位分布,因而采用不含时间项的表达方式。此时,动量和空间频率(波矢方向)成正比,后文采用
$\nu $ 来表示空间频率。满足坐标正交,积分等于光强的分布函数都可以称之为光学相空间密度函数,一般有四种表现形式,用互相关函数来定义[4]:
$$ \begin{split} & \varGamma (q,q') = \psi \left(q + \dfrac{1}{2}q'\right){\psi ^*}\left(q - \dfrac{1}{2}q'\right) \\ & W(q,\nu ) = \int {\varGamma (q,q')\exp ( - {\rm{i}}2\pi \nu q'){\rm{d}}q'} \\ & A(q',\nu ') = \int {\varGamma (q,q')\exp ( - {\rm{i}}2\pi q\nu '){\rm{d}}q} \end{split} $$ (2) 互相关函数和Wigner分布之间通过傅里叶变换互相联系,共有4种等效分布形式,如图2所示,相应的也有4种采样方式。光场相机结构最适合测量互相关函数,实验结果表明,这是最高分辨率的采样方式。
-
光场相机通过在主透镜和传感器之间插入微透镜阵列来同时记录同一物点所有方向上光线的强度,原始数据包含了密度函数所需的空间坐标和波矢坐标。在光场相机2.0结构中,微透镜到像元的间距不等于微透镜焦距,也被称作聚焦型光场相机[7], 如图3所示[8], 其中DL、fL为主镜口径、焦距;D、f为微透镜口径和焦距;aL、bL为主镜成像空间中的物距、像距;a、B为虚空间的物距和像距;BL为主镜到成像传感器的距离;从左至右的蓝色箭头分别表示物点、像点、二次成像点。该结构等效于一个超级复眼,主镜头作用下每一个物点的成像范围都覆盖了若干数量的微透镜,相应的子图像之间具有相关性。在原始数据中使用互相关检索,相当于一次性搜索出可识别物点以及与之相关的子图像群,形成了针对每一个物点的光场信息。子图像之间的差异度由视差(即频域差异)和传输介质结构决定,所形成的互相关函数与该物点的相位息息相关。
-
为测试湍流靠近目标条件下的点云计算效果,选取拍摄目标为酒精产生的火焰,实验选用100 mm焦距的主镜头,火焰距离相机小于0.8 m,相机积分时间50 μs,效果如图6所示。
根据光场相机深度分辨率计算模型[3],理论上远端分辨率0.1 mm,近端分辨率为1 mm,实际以铁锅为参照实测火焰三维点云的纵向精度为0.2 mm,符合仿真预期。
为测试湍流靠近光学口径时的点云计算效果,选取湍流下的平面文档作为拍摄目标。如图7所示,相机和目标之间加入一个高温湍流池,它的底部是4根加热管,加热到大约500 ℃时,两个窗口之间就是高温湍流区域,有微风扰动。由于湍流变化相当快,相机的积分时间设定为100 μs,尽管采用了大量的照明措施,图像还是有些偏暗。实验结果如图7所示,上图为普通成像方式,可以看到,强湍流区域集中在湍流池下层,该区域成像模糊不清,下图为去湍流清晰成像。
表1给出了图7中红色区域(尺寸60×300)图像质量的评价结果。其中,SSIM和PNSR为有参考评价指标,以无湍流原图像为参考图像,Tenengrad梯度为无参考清晰度评价指标。
表 1 湍流清晰化成像质量评价
Table 1. Analysis of turbulence-degraded imaging clarification quality
MSSIM PNSR/dB Tenengrad After clarification 0.916 50.234 1.165 Before clarification 0.501 47.103 0.563 3 注:MSSIM(平均结构相似度指数)模拟人眼对图像结构相似性的认知,取值范围[0,1]。PNSR(峰值信噪比指数)是基于误差敏感的图像质量评价指标,PNSR越大则表明图像失真越小。Tenengrad梯度函数是基于图像梯度的评价函数,图像边缘越清晰,Tenengrad函数值越大。 根据表1,算法矫正后的图像更加清晰,这与人眼的主观感知结果是一致的。
-
为验证对远距离目标的成像效果,在7层楼顶进行了验证实验。采用228 mm口径F/9的透射式望远镜,光场相机选用6.4 μm像元20 M像素的传感器,探测目标距离传感器像元约为500 m。由于目标近,主镜头口径小,并且远离地面,尽管实验时间选在正午,湍流效应仍不明显,为增大扰动效果,在镜头前越1 m处用酒精点火,产生干扰气流。选取远处大楼顶部电视接收天线作为目标物,拍摄场景和效果如图8所示。受火焰位置影响,强湍流区域集中在照片的下方。
图8的中图为重聚焦照片,是指定天线中心位置为聚焦物面的计算成像,相当于使用普通相机拍摄,下图为全聚焦照片,是使用“全场相位图谱”对图片进行清晰化后的结果。湍流对图像清晰度的扰动非常微小,但仔细观察会发现照片下方物体的清晰度有明显差异,由于高阶相位的数值都非常小,这里仅给出离焦项的相位图。表2给出了图8中椭圆红圈部分的成像质量评价结果,采用无参考图像评价指标。
表 2 成像质量分析
Table 2. Analysis of imaging quality
SMD Tenengrad After clarification 24.63 1.089 Before clarification 20.97 0.870 注:SMD(灰度方差指数)是图像全像素的灰度差分值之和,根据全聚焦图像中的高频分量最多的原理,将灰度变化作为聚焦评价的依据。根据表2,矫正后图像的SMD与Tenengrad值比未矫正图像的更高,这表明其具有更高的成像清晰度。 图9的上图中的点均为具有相位准确测量值的物点,可以看出,与无湍流情况相比,照片的下方,尤其是右下方有多簇违反远近规律的点云团,这些畸变只能是由于湍流扰动而引起的。使用无湍流情况下的计算成像方法,效果如图9上图所示,尽管弯管与排气孔处于同一深度,二者的清晰度却不完全相同,然而将这些相位畸变代入原始图像进行清晰化后,就可以看到图像明显变的清晰,如图8红色圆圈内图像所示。
上述实验表明选取合适的光学参数后,对远距离扩展信标也能够测量大气湍流的相位分布。
根据如图10所示的理论模型[10],该系统在500 m处的深度分辨率应为0.6 m,实测分辨率小于0.75 m。例如目标天线直径实际为1.5 m,图9中天线中心到边缘的深度层次大约为3层,故该区域分辨率0.25 m。
Image clarification and point cloud calculation under turbulence by light field camera
-
摘要: 无变形镜条件下抵抗大气湍流影响获取几百米至几十公里外目标的清晰成像和点云数据具有重要意义。光场相机是清晰成像和点云计算领域的有力工具,但是它在湍流条件下无法正常工作。同时光场相机技术的主要研究方向集中在如何提高点云的精度和密度,暂无人将其应用于湍流清晰成像。基于相空间光学原理改进了光场相机的信息提取算法,在湍流条件下完成了清晰成像和点云计算。这种算法使用四维密度函数来描述复眼结构,对原始数据的使用更加充分,能够提取物点完整的低阶相位信息,因而,可以抵抗湍流对局部子孔径的影响,稳健地获取目标点云,解算深度图并得到全聚焦清晰成像。根据这一原理设计了光场相机系统,探测室内湍流池后方的目标以及室外湍流下500 m处目标,均获得了4 k以上个物点的准确低阶相位分布,给出了目标的三维点云图和清晰成像。结果表明,该方法无需变形镜系统,也不需要先验信息,是一种稳定工作的解析算法。Abstract: It is of great significance to obtain clear imaging and point cloud data of targets from hundreds to dozens of kilometers away under atmospheric turbulence without deformable mirror. Light field cameras are powerful tools in the field of image clarification and point cloud calculation, but they don't work well in turbulent conditions. Meanwhile, the main research direction of light field camera technology focuses on how to improve the precision and density of point cloud, and no one applies it to turbulence image clarification temporarily. This job was finished by improving information extraction algorithm of light field camera based on phase space optics. This algorithm was more fully to use RAW data, because of adopting four dimensional density functions to describe the structure of compound eye, and therefore, it could resist the influence of turbulence on local sub-aperture images, acquire target point cloud steady, calculate the depth map and clarify turbulence-degraded image. Light field camera based on such method acquired more than 4 k accurate wavefront distribution, when it was used for detecting indoor target behind the turbulence pool and outdoor target 500 m far from the camera, and 3D point clouds and clear image were obtained successfully. The results show that this method is a stable analytical algorithm without deforming mirror system or prior information.
-
表 1 湍流清晰化成像质量评价
Table 1. Analysis of turbulence-degraded imaging clarification quality
MSSIM PNSR/dB Tenengrad After clarification 0.916 50.234 1.165 Before clarification 0.501 47.103 0.563 3 注:MSSIM(平均结构相似度指数)模拟人眼对图像结构相似性的认知,取值范围[0,1]。PNSR(峰值信噪比指数)是基于误差敏感的图像质量评价指标,PNSR越大则表明图像失真越小。Tenengrad梯度函数是基于图像梯度的评价函数,图像边缘越清晰,Tenengrad函数值越大。 表 2 成像质量分析
Table 2. Analysis of imaging quality
SMD Tenengrad After clarification 24.63 1.089 Before clarification 20.97 0.870 注:SMD(灰度方差指数)是图像全像素的灰度差分值之和,根据全聚焦图像中的高频分量最多的原理,将灰度变化作为聚焦评价的依据。根据表2,矫正后图像的SMD与Tenengrad值比未矫正图像的更高,这表明其具有更高的成像清晰度。 -
[1] 姜文汉. 自适应光学发展综述[J]. 光电工程, 2018, 45(3): 170489. doi: 10.12086/oee.2018.170489 Jiang Wenhan. Overview of adaptive optics development [J]. Opto-Electronic Engineering, 2018, 45(3): 170489. (in Chinese doi: 10.12086/oee.2018.170489 [2] 李俊山, 杨亚威, 张姣, 等. 退化图像复原方法研究进展[J]. 液晶与显示, 2018, 33(8): 676-689. Li Junshan, Yang Yawei, Zhang Jiao, et al. Progress of degraded image restoration methods [J]. Chinese Journal of Liquid Crystals and Displays, 2018, 33(8): 676-689. (in Chinese [3] 王佳华, 杜少军, 张烜喆, 等. 四焦距聚焦型光场计算成像系统的设计[J]. 红外与激光工程, 2019, 48(2): 0218003. doi: 10.3788/IRLA201948.0218003 Wang Jiahua, Du Shaojun, Zhang Xuanzhe,et al. Design of focused light field computational imaging system with four-types focal lengths [J]. Infrared and Laser Engineering, 2019, 48(2): 0218003. (in Chinese doi: 10.3788/IRLA201948.0218003 [4] Markus T, Bryan H, Jorge O. Phase-Space Optics Fundamentals and Applications[M], New York: McGraw-Hill Companies, 2010: 107-162 [5] 吕洋, 宁禹, 马浩统, 等. 计算光场自适应光学成像技术研究[J]. 光电工程, 2018, 45(3): 180075. doi: 10.12086/oee.2018.180075 Lv Yang, Ning Yu, Ma Hongtao, et al. Research on computationally adaptive plenoptic imaging [J]. Opto-Electronic Engineering, 2018, 45(3): 180075. (in Chinese doi: 10.12086/oee.2018.180075 [6] Wolf K B. Geometric optics on phase space[M]. Berlin: Springer Science & Business Media, 2004. [7] Ng R, Levoy M, Brédif M, et al. Light field photography with a hand-held plenoptic camera [J]. Computer Science Technical Report CSTR, 2005, 2(11): 1-11. [8] Zhang X, Yang Y, Du S J, et al. Adding polarimetric imaging to depth map using improved light field camera 2.0 structure[C]//Digital Optical Technologies 2017. International Society for Optics and Photonics, 2017, 10335: 103351Q. [9] Zhang X Z, Shu B H, Du S J. Wavefront detection of extended-beacon based on phase-space optics[C]//Advances in Optical and Mechanical Technologies for Telescopes and Instrumentation. International Society for Optics and Photonics, 2014, 9151: 915126. [10] Wang J H, Zhang X Z, Du S J, et al. Resolution analysis of focused plenoptic camera with four types focal lengths[C]//AOPC 2019: Display Technology and Optical Storage. International Society for Optics and Photonics, 2019, 11335: 1133504.