Volume 49 Issue 11
Nov.  2020
Turn off MathJax
Article Contents

Zhang Xuanzhe, Wang Yan, Wang Jiahua, Hou Zaihong, Du Shaojun. Image clarification and point cloud calculation under turbulence by light field camera[J]. Infrared and Laser Engineering, 2020, 49(11): 20200053. doi: 10.3788/IRLA20200053
Citation: Zhang Xuanzhe, Wang Yan, Wang Jiahua, Hou Zaihong, Du Shaojun. Image clarification and point cloud calculation under turbulence by light field camera[J]. Infrared and Laser Engineering, 2020, 49(11): 20200053. doi: 10.3788/IRLA20200053

Image clarification and point cloud calculation under turbulence by light field camera

doi: 10.3788/IRLA20200053
  • Received Date: 2020-02-16
  • Rev Recd Date: 2020-03-20
  • Available Online: 2020-05-09
  • Publish Date: 2020-11-25
  • It is of great significance to obtain clear imaging and point cloud data of targets from hundreds to dozens of kilometers away under atmospheric turbulence without deformable mirror. Light field cameras are powerful tools in the field of image clarification and point cloud calculation, but they don't work well in turbulent conditions. Meanwhile, the main research direction of light field camera technology focuses on how to improve the precision and density of point cloud, and no one applies it to turbulence image clarification temporarily. This job was finished by improving information extraction algorithm of light field camera based on phase space optics. This algorithm was more fully to use RAW data, because of adopting four dimensional density functions to describe the structure of compound eye, and therefore, it could resist the influence of turbulence on local sub-aperture images, acquire target point cloud steady, calculate the depth map and clarify turbulence-degraded image. Light field camera based on such method acquired more than 4 k accurate wavefront distribution, when it was used for detecting indoor target behind the turbulence pool and outdoor target 500 m far from the camera, and 3D point clouds and clear image were obtained successfully. The results show that this method is a stable analytical algorithm without deforming mirror system or prior information.
  • [1] 姜文汉. 自适应光学发展综述[J]. 光电工程, 2018, 45(3): 170489. doi:  10.12086/oee.2018.170489

    Jiang Wenhan. Overview of adaptive optics development [J]. Opto-Electronic Engineering, 2018, 45(3): 170489. (in Chinese doi:  10.12086/oee.2018.170489
    [2] 李俊山, 杨亚威, 张姣, 等. 退化图像复原方法研究进展[J]. 液晶与显示, 2018, 33(8): 676-689.

    Li Junshan, Yang Yawei, Zhang Jiao, et al. Progress of degraded image restoration methods [J]. Chinese Journal of Liquid Crystals and Displays, 2018, 33(8): 676-689. (in Chinese
    [3] 王佳华, 杜少军, 张烜喆, 等. 四焦距聚焦型光场计算成像系统的设计[J]. 红外与激光工程, 2019, 48(2): 0218003. doi:  10.3788/IRLA201948.0218003

    Wang Jiahua, Du Shaojun, Zhang Xuanzhe,et al. Design of focused light field computational imaging system with four-types focal lengths [J]. Infrared and Laser Engineering, 2019, 48(2): 0218003. (in Chinese doi:  10.3788/IRLA201948.0218003
    [4] Markus T, Bryan H, Jorge O. Phase-Space Optics Fundamentals and Applications[M], New York: McGraw-Hill Companies, 2010: 107-162
    [5] 吕洋, 宁禹, 马浩统, 等. 计算光场自适应光学成像技术研究[J]. 光电工程, 2018, 45(3): 180075. doi:  10.12086/oee.2018.180075

    Lv Yang, Ning Yu, Ma Hongtao, et al. Research on computationally adaptive plenoptic imaging [J]. Opto-Electronic Engineering, 2018, 45(3): 180075. (in Chinese doi:  10.12086/oee.2018.180075
    [6] Wolf K B. Geometric optics on phase space[M]. Berlin: Springer Science & Business Media, 2004.
    [7] Ng R, Levoy M, Brédif M, et al. Light field photography with a hand-held plenoptic camera [J]. Computer Science Technical Report CSTR, 2005, 2(11): 1-11.
    [8] Zhang X, Yang Y, Du S J, et al. Adding polarimetric imaging to depth map using improved light field camera 2.0 structure[C]//Digital Optical Technologies 2017. International Society for Optics and Photonics, 2017, 10335: 103351Q.
    [9] Zhang X Z, Shu B H, Du S J. Wavefront detection of extended-beacon based on phase-space optics[C]//Advances in Optical and Mechanical Technologies for Telescopes and Instrumentation. International Society for Optics and Photonics, 2014, 9151: 915126.
    [10] Wang J H, Zhang X Z, Du S J, et al. Resolution analysis of focused plenoptic camera with four types focal lengths[C]//AOPC 2019: Display Technology and Optical Storage. International Society for Optics and Photonics, 2019, 11335: 1133504.
  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Figures(10)  / Tables(2)

Article Metrics

Article views(1147) PDF downloads(103) Cited by()

Related
Proportional views

Image clarification and point cloud calculation under turbulence by light field camera

doi: 10.3788/IRLA20200053
  • 1. Hefei Institutes of Physical Science, Chinese Academy of Sciences, Hefei 230031, China
  • 2. Science Island Branch, University of Science and Technology of China, Hefei 230026, China
  • 3. College of Advanced Interdisciplinary Studies, National University of Defense Technology, Changsha 410073, China

Abstract: It is of great significance to obtain clear imaging and point cloud data of targets from hundreds to dozens of kilometers away under atmospheric turbulence without deformable mirror. Light field cameras are powerful tools in the field of image clarification and point cloud calculation, but they don't work well in turbulent conditions. Meanwhile, the main research direction of light field camera technology focuses on how to improve the precision and density of point cloud, and no one applies it to turbulence image clarification temporarily. This job was finished by improving information extraction algorithm of light field camera based on phase space optics. This algorithm was more fully to use RAW data, because of adopting four dimensional density functions to describe the structure of compound eye, and therefore, it could resist the influence of turbulence on local sub-aperture images, acquire target point cloud steady, calculate the depth map and clarify turbulence-degraded image. Light field camera based on such method acquired more than 4 k accurate wavefront distribution, when it was used for detecting indoor target behind the turbulence pool and outdoor target 500 m far from the camera, and 3D point clouds and clear image were obtained successfully. The results show that this method is a stable analytical algorithm without deforming mirror system or prior information.

    • 无变形镜条件下抵抗大气湍流影响获取几百米至几十公里外目标的清晰成像和点云数据将极大提高系统的性价比并缩小系统体积[1]。在这一领域,激光雷达和各种后期图像处理算法都取得了一定的效果,是目前主流的解决方案。激光雷达是常用的点云生成工具,但其横向分辨率受发散角影响,随工作距离增加不断退化,难以胜任清晰成像的分辨率需求。采用点扩散函数反卷积来后期清晰成像的方法在运动目标等有着固定模糊模式的图像处理领域有着广泛的应用[2],但是对于湍流这种完全随机的应用条件无法稳定工作。

      光场相机本身就是为了聚焦成像和点云计算而设计的。它的结构中含有精密设计的微透镜阵列,对于任一物点都可以等效为数量可控的复眼结构,与哈特曼传感器类似,能够将复杂波前分布分解为大量子孔径上的倾斜,因而具备抵抗湍流的可能性,是解决这一问题的潜在选手[3]。然而传统算法为了提高运算效率,对同一物点的深度计算仅使用了复眼边缘少量子孔径的图像信息,受湍流扰动后,这些子图像发生扭曲和平移,导致算法无法正常工作,实测数据表明该条件下点云的深度图错误频出。

      在相空间光学中,湍流下的目标光场由位置坐标与波矢坐标共同描述,正对应着复眼结构中子透镜的坐标和子透镜下图像的坐标,表现为四维相空间中密度函数[4]。借助相空间理论,我们能够通过全部复眼中的偏移信息来解算完整的相位分布,用分离出的离焦项来代替传统算法得到的深度,将湍流影响分散到其他高阶项上,这样得到的点云算法稳健有效[5]

      在光场相机领域,例如业内最高水平的Raytrix公司,其主要研究方向集中在如何提高点云的精度和密度,暂无人将光场相机应用于湍流清晰成像。

      利用光场相机独特结构优势解决了湍流下清晰成像和点云计算问题,基于相空间光学原理设计研制的光场相机系统,完成了对目标光场四维相空间密度函数的实时高分辨采样,由此解算得到了目标场景的全视场相位谱图,用20 M的原始像素得到了视场内4 k个左右的低阶相位分布,进而计算得到了视场内的去湍流清晰成像、湍流结构重建以及三维点云。

    • q表示光线的位置矢量,p表示波矢矢量,单根光线可由二维相空间中的狄拉克函数来描述[6]。如图1所示。

      Figure 1.  Phase space coordinates schematic diagram of the ray on transmission cross section

      一个经典的光学复信号可以表示为[4]

      文中算法直接使用单帧光学测量数据来解析计算全场相位分布,因而采用不含时间项的表达方式。此时,动量和空间频率(波矢方向)成正比,后文采用$\nu $来表示空间频率。

      满足坐标正交,积分等于光强的分布函数都可以称之为光学相空间密度函数,一般有四种表现形式,用互相关函数来定义[4]

      互相关函数和Wigner分布之间通过傅里叶变换互相联系,共有4种等效分布形式,如图2所示,相应的也有4种采样方式。光场相机结构最适合测量互相关函数,实验结果表明,这是最高分辨率的采样方式。

      Figure 2.  Four density functions in optical phase space

    • 光场相机通过在主透镜和传感器之间插入微透镜阵列来同时记录同一物点所有方向上光线的强度,原始数据包含了密度函数所需的空间坐标和波矢坐标。在光场相机2.0结构中,微透镜到像元的间距不等于微透镜焦距,也被称作聚焦型光场相机[7], 如图3所示[8], 其中DLfL为主镜口径、焦距;Df为微透镜口径和焦距;aLbL为主镜成像空间中的物距、像距;aB为虚空间的物距和像距;BL为主镜到成像传感器的距离;从左至右的蓝色箭头分别表示物点、像点、二次成像点。该结构等效于一个超级复眼,主镜头作用下每一个物点的成像范围都覆盖了若干数量的微透镜,相应的子图像之间具有相关性。在原始数据中使用互相关检索,相当于一次性搜索出可识别物点以及与之相关的子图像群,形成了针对每一个物点的光场信息。子图像之间的差异度由视差(即频域差异)和传输介质结构决定,所形成的互相关函数与该物点的相位息息相关。

      Figure 3.  Light field camera 2.0 structure diagram

    • 算法流程为:利用互相关函数进行全局匹配搜索,寻找可识别物点,提取相应的相空间分布,再进一步解算全视场的稀疏相位图谱。相位提取程序逐点进行,使用模式法,将像差的相空间表现形式代入单点密度函数并提取相关系数[7-9]

      低阶像差在光学相空间中的形态如图4所示,离焦项位于第一行。利用这些分布特征在原始采样数据中检索,可以提取到对应系数。相空间形式的像差与传统波前的Zernike分解事实上异曲同工,但是这些表达形式可以直接应用于光场采样数据,具有极大的便利性。

      Figure 4.  Relationship of first three order aberration and corresponding deformation in phase space

      全场相位图谱是指在计算成像的二维坐标系中,测量每一个坐标位置上的二维相位分布,由此获得的数据结构,如果只取相位的离焦项进行绘制,也可以称为深度图,表示物点到相机传感器之间的距离,与三维点云可以直接转换。与光场相机传统点云算法相比,这种方式将每个物点所对应的全部子孔径图像信息代入计算,相当于拟合出了离焦系数,因而能够稳定工作。一般来说,由单帧数据解算出的具有准确相位的物点数量远小于原始像素,由这些相位组成的数据结构也称为稀疏相位图谱,再经过有限插值或者全局插值得到的图谱称为稠密相位图谱[9]。原始像素,由这些相位组成的数据结构也称为稀疏相位图谱,再经过有限插值或者全局插值得到的图谱称为稠密相位图谱[5]

      计算流程如图5所示[8]。注意,对于高阶相位值,只有在确认传输介质属于连续流体时才能够进行插值。

      Figure 5.  Calculation flow chart of full FOV phase map

    • 为测试湍流靠近目标条件下的点云计算效果,选取拍摄目标为酒精产生的火焰,实验选用100 mm焦距的主镜头,火焰距离相机小于0.8 m,相机积分时间50 μs,效果如图6所示。

      Figure 6.  3D reconstruction results of dynamic flame

      根据光场相机深度分辨率计算模型[3],理论上远端分辨率0.1 mm,近端分辨率为1 mm,实际以铁锅为参照实测火焰三维点云的纵向精度为0.2 mm,符合仿真预期。

      为测试湍流靠近光学口径时的点云计算效果,选取湍流下的平面文档作为拍摄目标。如图7所示,相机和目标之间加入一个高温湍流池,它的底部是4根加热管,加热到大约500 ℃时,两个窗口之间就是高温湍流区域,有微风扰动。由于湍流变化相当快,相机的积分时间设定为100 μs,尽管采用了大量的照明措施,图像还是有些偏暗。实验结果如图7所示,上图为普通成像方式,可以看到,强湍流区域集中在湍流池下层,该区域成像模糊不清,下图为去湍流清晰成像。

      Figure 7.  Turbulence-degraded image clarifications experiment results

      表1给出了图7中红色区域(尺寸60×300)图像质量的评价结果。其中,SSIM和PNSR为有参考评价指标,以无湍流原图像为参考图像,Tenengrad梯度为无参考清晰度评价指标。

      MSSIMPNSR/dBTenengrad
      After clarification0.91650.2341.165
      Before clarification0.50147.1030.563 3
      注:MSSIM(平均结构相似度指数)模拟人眼对图像结构相似性的认知,取值范围[0,1]。PNSR(峰值信噪比指数)是基于误差敏感的图像质量评价指标,PNSR越大则表明图像失真越小。Tenengrad梯度函数是基于图像梯度的评价函数,图像边缘越清晰,Tenengrad函数值越大。

      Table 1.  Analysis of turbulence-degraded imaging clarification quality

      根据表1,算法矫正后的图像更加清晰,这与人眼的主观感知结果是一致的。

    • 为验证对远距离目标的成像效果,在7层楼顶进行了验证实验。采用228 mm口径F/9的透射式望远镜,光场相机选用6.4 μm像元20 M像素的传感器,探测目标距离传感器像元约为500 m。由于目标近,主镜头口径小,并且远离地面,尽管实验时间选在正午,湍流效应仍不明显,为增大扰动效果,在镜头前越1 m处用酒精点火,产生干扰气流。选取远处大楼顶部电视接收天线作为目标物,拍摄场景和效果如图8所示。受火焰位置影响,强湍流区域集中在照片的下方。

      Figure 8.  Outdoor turbulence-degraded image clarifications experiment results

      图8的中图为重聚焦照片,是指定天线中心位置为聚焦物面的计算成像,相当于使用普通相机拍摄,下图为全聚焦照片,是使用“全场相位图谱”对图片进行清晰化后的结果。湍流对图像清晰度的扰动非常微小,但仔细观察会发现照片下方物体的清晰度有明显差异,由于高阶相位的数值都非常小,这里仅给出离焦项的相位图。表2给出了图8中椭圆红圈部分的成像质量评价结果,采用无参考图像评价指标。

      SMDTenengrad
      After clarification24.631.089
      Before clarification20.970.870
      注:SMD(灰度方差指数)是图像全像素的灰度差分值之和,根据全聚焦图像中的高频分量最多的原理,将灰度变化作为聚焦评价的依据。根据表2,矫正后图像的SMD与Tenengrad值比未矫正图像的更高,这表明其具有更高的成像清晰度。

      Table 2.  Analysis of imaging quality

      图9的上图中的点均为具有相位准确测量值的物点,可以看出,与无湍流情况相比,照片的下方,尤其是右下方有多簇违反远近规律的点云团,这些畸变只能是由于湍流扰动而引起的。使用无湍流情况下的计算成像方法,效果如图9上图所示,尽管弯管与排气孔处于同一深度,二者的清晰度却不完全相同,然而将这些相位畸变代入原始图像进行清晰化后,就可以看到图像明显变的清晰,如图8红色圆圈内图像所示。

      Figure 9.  Full FOV phase map (only unfocused item) of outdoor experiment

      上述实验表明选取合适的光学参数后,对远距离扩展信标也能够测量大气湍流的相位分布。

      根据如图10所示的理论模型[10],该系统在500 m处的深度分辨率应为0.6 m,实测分辨率小于0.75 m。例如目标天线直径实际为1.5 m,图9中天线中心到边缘的深度层次大约为3层,故该区域分辨率0.25 m。

      Figure 10.  Theoretical depth resolution of target point cloud at 500 m

    • 文中介绍了基于相空间光学的光场相机技术,进一步发掘了光场相机的潜力,使其能够在湍流条件下稳定工作,获取目标的清晰图像和三维点云。与传统自适应光学相比,该方法无需消耗巨大的变形镜系统,尤其不惧怕扩展信标,相反,目标场景越复杂,可提取的二维相位图谱密度越高,点云效果越好。与后期完成图像清晰化的方法相比,它在前期就采集到了充足的光场信息,能够实时解算单帧图像的相位图谱,是真正的解析算法,实验结果表明,系统能够稳定工作,达到了预期目标。唯一的劣势在于,运算量巨大,需要高性能处理器和高度优化的算法。

Reference (10)

Catalog

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return