Image clarification and point cloud calculation under turbulence by light field camera

无变形镜条件下抵抗大气湍流影响获取几百米至几十公里外目标的清晰成像和点云数据将极大提高系统的性价比并缩小系统体积^[1]。在这一领域，激光雷达和各种后期图像处理算法都取得了一定的效果，是目前主流的解决方案。激光雷达是常用的点云生成工具，但其横向分辨率受发散角影响，随工作距离增加不断退化，难以胜任清晰成像的分辨率需求。采用点扩散函数反卷积来后期清晰成像的方法在运动目标等有着固定模糊模式的图像处理领域有着广泛的应用^[2]，但是对于湍流这种完全随机的应用条件无法稳定工作。

光场相机本身就是为了聚焦成像和点云计算而设计的。它的结构中含有精密设计的微透镜阵列，对于任一物点都可以等效为数量可控的复眼结构，与哈特曼传感器类似，能够将复杂波前分布分解为大量子孔径上的倾斜，因而具备抵抗湍流的可能性，是解决这一问题的潜在选手^[3]。然而传统算法为了提高运算效率，对同一物点的深度计算仅使用了复眼边缘少量子孔径的图像信息，受湍流扰动后，这些子图像发生扭曲和平移，导致算法无法正常工作，实测数据表明该条件下点云的深度图错误频出。

在相空间光学中，湍流下的目标光场由位置坐标与波矢坐标共同描述，正对应着复眼结构中子透镜的坐标和子透镜下图像的坐标，表现为四维相空间中密度函数^[4]。借助相空间理论，我们能够通过全部复眼中的偏移信息来解算完整的相位分布，用分离出的离焦项来代替传统算法得到的深度，将湍流影响分散到其他高阶项上，这样得到的点云算法稳健有效^[5]。

在光场相机领域，例如业内最高水平的Raytrix公司，其主要研究方向集中在如何提高点云的精度和密度，暂无人将光场相机应用于湍流清晰成像。

利用光场相机独特结构优势解决了湍流下清晰成像和点云计算问题，基于相空间光学原理设计研制的光场相机系统，完成了对目标光场四维相空间密度函数的实时高分辨采样，由此解算得到了目标场景的全视场相位谱图，用20 M的原始像素得到了视场内4 k个左右的低阶相位分布，进而计算得到了视场内的去湍流清晰成像、湍流结构重建以及三维点云。

用q表示光线的位置矢量，p表示波矢矢量，单根光线可由二维相空间中的狄拉克函数来描述^[6]。如图1所示。

Figure 1.  Phase space coordinates schematic diagram of the ray on transmission cross section

一个经典的光学复信号可以表示为^[4]：

文中算法直接使用单帧光学测量数据来解析计算全场相位分布，因而采用不含时间项的表达方式。此时，动量和空间频率（波矢方向）成正比，后文采用$\nu $来表示空间频率。

满足坐标正交，积分等于光强的分布函数都可以称之为光学相空间密度函数，一般有四种表现形式，用互相关函数来定义^[4]：

互相关函数和Wigner分布之间通过傅里叶变换互相联系，共有4种等效分布形式，如图2所示，相应的也有4种采样方式。光场相机结构最适合测量互相关函数，实验结果表明，这是最高分辨率的采样方式。

Figure 2.  Four density functions in optical phase space

光场相机通过在主透镜和传感器之间插入微透镜阵列来同时记录同一物点所有方向上光线的强度，原始数据包含了密度函数所需的空间坐标和波矢坐标。在光场相机2.0结构中，微透镜到像元的间距不等于微透镜焦距，也被称作聚焦型光场相机^[7], 如图3所示^[8], 其中D_L、f_L为主镜口径、焦距；D、f为微透镜口径和焦距；a_L、b_L为主镜成像空间中的物距、像距；a、B为虚空间的物距和像距；B_L为主镜到成像传感器的距离；从左至右的蓝色箭头分别表示物点、像点、二次成像点。该结构等效于一个超级复眼，主镜头作用下每一个物点的成像范围都覆盖了若干数量的微透镜，相应的子图像之间具有相关性。在原始数据中使用互相关检索，相当于一次性搜索出可识别物点以及与之相关的子图像群，形成了针对每一个物点的光场信息。子图像之间的差异度由视差（即频域差异）和传输介质结构决定，所形成的互相关函数与该物点的相位息息相关。

Figure 3.  Light field camera 2.0 structure diagram

算法流程为：利用互相关函数进行全局匹配搜索，寻找可识别物点，提取相应的相空间分布，再进一步解算全视场的稀疏相位图谱。相位提取程序逐点进行，使用模式法，将像差的相空间表现形式代入单点密度函数并提取相关系数^[7-9]。

低阶像差在光学相空间中的形态如图4所示，离焦项位于第一行。利用这些分布特征在原始采样数据中检索，可以提取到对应系数。相空间形式的像差与传统波前的Zernike分解事实上异曲同工，但是这些表达形式可以直接应用于光场采样数据，具有极大的便利性。

Figure 4.  Relationship of first three order aberration and corresponding deformation in phase space

全场相位图谱是指在计算成像的二维坐标系中，测量每一个坐标位置上的二维相位分布，由此获得的数据结构，如果只取相位的离焦项进行绘制，也可以称为深度图，表示物点到相机传感器之间的距离，与三维点云可以直接转换。与光场相机传统点云算法相比，这种方式将每个物点所对应的全部子孔径图像信息代入计算，相当于拟合出了离焦系数，因而能够稳定工作。一般来说，由单帧数据解算出的具有准确相位的物点数量远小于原始像素，由这些相位组成的数据结构也称为稀疏相位图谱，再经过有限插值或者全局插值得到的图谱称为稠密相位图谱^[9]。原始像素，由这些相位组成的数据结构也称为稀疏相位图谱，再经过有限插值或者全局插值得到的图谱称为稠密相位图谱^[5]。

计算流程如图5所示^[8]。注意，对于高阶相位值，只有在确认传输介质属于连续流体时才能够进行插值。

Figure 5.  Calculation flow chart of full FOV phase map

为测试湍流靠近目标条件下的点云计算效果，选取拍摄目标为酒精产生的火焰，实验选用100 mm焦距的主镜头，火焰距离相机小于0.8 m，相机积分时间50 μs，效果如图6所示。

Figure 6.  3D reconstruction results of dynamic flame

根据光场相机深度分辨率计算模型^[3]，理论上远端分辨率0.1 mm，近端分辨率为1 mm，实际以铁锅为参照实测火焰三维点云的纵向精度为0.2 mm，符合仿真预期。

为测试湍流靠近光学口径时的点云计算效果，选取湍流下的平面文档作为拍摄目标。如图7所示，相机和目标之间加入一个高温湍流池，它的底部是4根加热管，加热到大约500 ℃时，两个窗口之间就是高温湍流区域，有微风扰动。由于湍流变化相当快，相机的积分时间设定为100 μs，尽管采用了大量的照明措施，图像还是有些偏暗。实验结果如图7所示，上图为普通成像方式，可以看到，强湍流区域集中在湍流池下层，该区域成像模糊不清，下图为去湍流清晰成像。

Figure 7.  Turbulence-degraded image clarifications experiment results

表1给出了图7中红色区域（尺寸60×300）图像质量的评价结果。其中，SSIM和PNSR为有参考评价指标，以无湍流原图像为参考图像，Tenengrad梯度为无参考清晰度评价指标。

根据表1，算法矫正后的图像更加清晰，这与人眼的主观感知结果是一致的。

为验证对远距离目标的成像效果，在7层楼顶进行了验证实验。采用228 mm口径F/9的透射式望远镜，光场相机选用6.4 μm像元20 M像素的传感器，探测目标距离传感器像元约为500 m。由于目标近，主镜头口径小，并且远离地面，尽管实验时间选在正午，湍流效应仍不明显，为增大扰动效果，在镜头前越1 m处用酒精点火，产生干扰气流。选取远处大楼顶部电视接收天线作为目标物，拍摄场景和效果如图8所示。受火焰位置影响，强湍流区域集中在照片的下方。

Figure 8.  Outdoor turbulence-degraded image clarifications experiment results

图8的中图为重聚焦照片，是指定天线中心位置为聚焦物面的计算成像，相当于使用普通相机拍摄，下图为全聚焦照片，是使用“全场相位图谱”对图片进行清晰化后的结果。湍流对图像清晰度的扰动非常微小，但仔细观察会发现照片下方物体的清晰度有明显差异，由于高阶相位的数值都非常小，这里仅给出离焦项的相位图。表2给出了图8中椭圆红圈部分的成像质量评价结果，采用无参考图像评价指标。

图9的上图中的点均为具有相位准确测量值的物点，可以看出，与无湍流情况相比，照片的下方，尤其是右下方有多簇违反远近规律的点云团，这些畸变只能是由于湍流扰动而引起的。使用无湍流情况下的计算成像方法，效果如图9上图所示，尽管弯管与排气孔处于同一深度，二者的清晰度却不完全相同，然而将这些相位畸变代入原始图像进行清晰化后，就可以看到图像明显变的清晰，如图8红色圆圈内图像所示。

Figure 9.  Full FOV phase map (only unfocused item) of outdoor experiment

上述实验表明选取合适的光学参数后，对远距离扩展信标也能够测量大气湍流的相位分布。

根据如图10所示的理论模型^[10]，该系统在500 m处的深度分辨率应为0.6 m，实测分辨率小于0.75 m。例如目标天线直径实际为1.5 m，图9中天线中心到边缘的深度层次大约为3层，故该区域分辨率0.25 m。

Figure 10.  Theoretical depth resolution of target point cloud at 500 m

文中介绍了基于相空间光学的光场相机技术，进一步发掘了光场相机的潜力，使其能够在湍流条件下稳定工作，获取目标的清晰图像和三维点云。与传统自适应光学相比，该方法无需消耗巨大的变形镜系统，尤其不惧怕扩展信标，相反，目标场景越复杂，可提取的二维相位图谱密度越高，点云效果越好。与后期完成图像清晰化的方法相比，它在前期就采集到了充足的光场信息，能够实时解算单帧图像的相位图谱，是真正的解析算法，实验结果表明，系统能够稳定工作，达到了预期目标。唯一的劣势在于，运算量巨大，需要高性能处理器和高度优化的算法。