留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

激光雷达三维距离像超分辨重构方法研究

龚道然 李思宁 姜鹏 刘迪 孙剑峰

龚道然, 李思宁, 姜鹏, 刘迪, 孙剑峰. 激光雷达三维距离像超分辨重构方法研究[J]. 红外与激光工程, 2020, 49(8): 20190511. doi: 10.3788/IRLA20190511
引用本文: 龚道然, 李思宁, 姜鹏, 刘迪, 孙剑峰. 激光雷达三维距离像超分辨重构方法研究[J]. 红外与激光工程, 2020, 49(8): 20190511. doi: 10.3788/IRLA20190511
Gong Daoran, Li Sining, Jiang Peng, Liu Di, Sun Jianfeng. Research on super resolution reconstruction of laser radar range profile[J]. Infrared and Laser Engineering, 2020, 49(8): 20190511. doi: 10.3788/IRLA20190511
Citation: Gong Daoran, Li Sining, Jiang Peng, Liu Di, Sun Jianfeng. Research on super resolution reconstruction of laser radar range profile[J]. Infrared and Laser Engineering, 2020, 49(8): 20190511. doi: 10.3788/IRLA20190511

激光雷达三维距离像超分辨重构方法研究

doi: 10.3788/IRLA20190511
详细信息
    作者简介:

    龚道然(1995-),男,硕士生,主要从事Gm-APD激光雷达三维距离像超分辨重构方面的研究。Email:gongdaoran@126.com

    李思宁(1968-),男,教授,博士生导师,博士,主要从事激光雷达和短波长激光方面的研究。Email:siningli@sina.com

  • 中图分类号: TN958.98

Research on super resolution reconstruction of laser radar range profile

  • 摘要: 针对目前激光雷达三维距离像分辨率低的问题,使用成本低且有效的图像处理方法获得高分辨三维距离像。首先,利用多传感器系统的特点,将低分辨率Gm-APD激光雷达与高分辨率ICCD激光雷达相结合,获得配准后的低分辨距离像和高分辨强度像,然后,提出了一种改进的图像引导算法实现低分辨图像超分辨重构。该方法使用马尔科夫随机场模型,定义了全局能量函数,该函数将距离保真项和正则化项相结合,通过求解优化模型获得高分辨三维距离像。通过对仿真图像和激光雷达距离像的超分辨重构处理,以主观视觉效果和图像质量客观评价指标来验证此方法。实验结果表明,该方法提高了距离像的分辨率,且很好地保护了图像的边缘结构,在无参考图像质量评价指标上较双三次插值、引导滤波和TGV取得更优值。
  • 图  1  系统原理图

    Figure  1.  System schematic diagram

    图  2  Middleburg数据集处理结果

    Figure  2.  Middleburg data set processing results

    图  3  激光雷达距离图像处理结果

    Figure  3.  Laser radar range image processing results

    表  1  不同方法的有参考图像质量评价指标对比

    Table  1.   Comparison of reference image quality evaluation indicators for different methods

    RMSESSIM
    X2X4X8X16X2X4X8X16
    Bicubic3.824.125.588.380.9690.9790.9690.901
    Guided3.253.845.278.220.9870.9880.9730.905
    TGV4.335.757.6812.650.9910.9790.9490.839
    Proposed2.473.825.198.010.9940.9910.9780.920
    下载: 导出CSV

    表  2  不同方法的无参考图像质量评价指标对比

    Table  2.   Comparison of evaluation indices of no-reference image quality for different methods

    Brenner gradientEnergy gradientInformation entropyLaplacian gradient
    LR image12.73.25.820.4
    Bicubic24.23.36.431.1
    Guided 18.22.16.491.3
    TGV40.37.76.102.0
    Proposed60.112.3 5.971.9
    下载: 导出CSV
  • [1] Hansard M, Lee S, Choi O, et al. Time-of-Flight Cameras: Principles, Methods and Applications[M]. London: Springer-Verlag , 2012.
    [2] 刘斌, 张军, 鲁敏, 等. 激光雷达应用技术研究进展[J]. 激光与红外, 2015, 45(2): 117-122. doi:  10.3969/j.issn.1001-5078.2015.02.001

    Liu Bin, Zhang Jun, Lu Min, et al. Research progress of laser radar applications [J]. Laser and Infrared, 2015, 45(2): 117-122. (in Chinese) doi:  10.3969/j.issn.1001-5078.2015.02.001
    [3] Aull B F, Schuette D R, Young D J, et al. A study of crosstalk in a 256×256 photon counting imager based on silicon Geiger-Mode avalanche photodiodes [J]. IEEE Sensors Journal, 2014, 15(4): 2123-2132.
    [4] 黎海雪, 林海涛, 姜栋瀚. 基于马尔科夫随机场的图像超分辨技术研究综述[J]. 通信技术, 2018, 51(10): 2356-2364. doi:  10.3969/j.issn.1002-0802.2018.10.015

    Li Haixue, Lin Haitao, Jiang Donghan. Image super resolution technology based on Markov random field [J]. Communications Technology, 2018, 51(10): 2356-2364. (in Chinese) doi:  10.3969/j.issn.1002-0802.2018.10.015
    [5] Keys R. Cubic convolution interpolation for digital image processing [J]. IEEE Transactions on Acoustics, Speech, and Signal Processing, 1981, 29(6): 1153-1160. doi:  10.1109/TASSP.1981.1163711
    [6] 谢美华, 王正明. 基于图像梯度信息的插值方法[J]. 中国图象图形学报, 2005, 10(7): 856-861. doi:  10.3969/j.issn.1006-8961.2005.07.008

    Xie Meihua, Wang Zhengming. Image interpolation based on gradient [J]. Journal of Image and Graphics, 2005, 10(7): 856-861. (in Chinese) doi:  10.3969/j.issn.1006-8961.2005.07.008
    [7] 姚勋祥, 张云峰, 宁阳, 等. 多尺度有理分形的图像插值算法[J]. 中国图象图形学报, 2016, 21(4): 482-489. doi:  10.11834/jig.20160410

    Yao Xunxiang, Zhang Yunfeng, Ning Yang, et al. Multi-scale feature image interpolation based on a rational fractal function [J]. Journal of Image and Graphics, 2016, 21(4): 482-489. (in Chinese) doi:  10.11834/jig.20160410
    [8] Dong C, Loy C C, He K, et al. Learning a deep convolutional network for image super-resolution[C]//European Conference on Computer Vision, 2014: 184-199.
    [9] Dong C, Loy C C, Tang X. Accelerating the super-resolution convolutional neural network[C]//European Conference on Computer Vision, 2016: 391-407.
    [10] Kopf J, Cohen M F, Lischinski D, et al. Joint bilateral upsampling[C]//ACM Transactions on Graphics (ToG), ACM, 2007, 26(3): 96.
    [11] He K, Sun J, Tang X. Guided image filtering [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 35(6): 1397-1409.
    [12] Diebel J, Thrun S. An application of markov random fields to range sensing[C]//Advances in Neural Information Processing Systems, 2006: 291-298.
    [13] Park J, Kim H, Tai Y W, et al. High quality depth map upsampling for 3d-tof cameras[C]//2011 International Conference on Computer Vision. IEEE, 2011: 1623-1630.
    [14] Ferstl D, Reinbacher C, Ranftl R, et al. Image guided depth upsampling using anisotropic total generalized variation[C]//Proceedings of the IEEE International Conference on Computer Vision, 2013: 993-1000.
    [15] Lei J, Han S, Xia W, et al. An image guided algorithm for range map super-resolution[C]//2017 International Conference on Optical Instruments and Technology: Optoelectronic Imaging/Spectroscopy and Signal Processing Technology. International Society for Optics and Photonics, 2018, 10620: 1062013.
  • [1] 康岩, 薛瑞凯, 李力飞, 张同意, 张勇, 赵卫.  基于像素复用的SPAD阵列连续扫描三维成像 . 红外与激光工程, 2020, 49(S2): 20200375-20200375. doi: 10.3788/IRLA20200375
    [2] 韩飞, 刘恒嘉, 孙东松, 韩於利, 张楠楠, 储嘉齐, 周安然, 蒋杉, 王元祖, 郑俊.  瑞利激光雷达超窄带滤光器参数设计及性能分析 . 红外与激光工程, 2020, 49(2): 0205003-0205003. doi: 10.3788/IRLA202049.0205003
    [3] 张楠, 孙剑峰, 姜鹏, 刘迪, 王鹏辉.  激光雷达场景三维姿态点法向量估计方法 . 红外与激光工程, 2020, 49(1): 0105004-0105004(8). doi: 10.3788/IRLA202049.0105004
    [4] 曹杰, 郝群, 张芳华, 徐辰宇, 程阳, 张佳利, 陶禹, 周栋, 张开宇.  APD三维成像激光雷达研究进展 . 红外与激光工程, 2020, 49(9): 20190549-1-20190549-10. doi: 10.3788/IRLA20190549
    [5] 杨彪, 胡以华.  代数迭代法在激光反射断层成像目标重构中的应用 . 红外与激光工程, 2019, 48(7): 726002-0726002(7). doi: 10.3788/IRLA201948.0726002
    [6] 董俊发, 刘继桥, 朱小磊, 毕德仓, 竹孝鹏, 陈卫标.  星载高光谱分辨率激光雷达的高光谱探测分光比优化分析 . 红外与激光工程, 2019, 48(S2): 1-6. doi: 10.3788/IRLA201948.S205001
    [7] 李小路, 曾晶晶, 王皓, 徐立军.  三维扫描激光雷达系统设计及实时成像技术 . 红外与激光工程, 2019, 48(5): 503004-0503004(8). doi: 10.3788/IRLA201948.0503004
    [8] 李晶, 车英, 宋暖, 翟艳男, 陈大川, 李君.  三维激光雷达共光路液体透镜变焦光学系统设计 . 红外与激光工程, 2019, 48(4): 418002-0418002(9). doi: 10.3788/IRLA201948.0418002
    [9] 陈剑彪, 孙华燕, 赵融生, 孔舒亚, 赵延仲, 单聪淼.  基于距离分辨的激光雷达技术研究进展 . 红外与激光工程, 2019, 48(8): 805007-0805007(14). doi: 10.3788/IRLA201948.0805007
    [10] 刘迪, 孙剑峰, 姜鹏, 高尚, 周鑫, 王鹏辉, 王骐.  GM-APD激光雷达距离像邻域KDE重构 . 红外与激光工程, 2019, 48(6): 630001-0630001(6). doi: 10.3788/IRLA201948.0630001
    [11] 李梓霂, 陈廷娣, 刘恒嘉, 孙东松, 王国成, 唐磊.  瑞利多普勒激光雷达超窄带滤光器的设计 . 红外与激光工程, 2018, 47(10): 1030003-1030003(7). doi: 10.3788/IRLA201847.1030003
    [12] 周颖捷, 周安然, 孙东松, 强希文, 封双连.  差分像移大气湍流廓线激光雷达的研制 . 红外与激光工程, 2016, 45(11): 1130001-1130001(5). doi: 10.3788/IRLA201645.1130001
    [13] 夏文泽, 韩绍坤, 曹京亚, 王亮, 翟倩.  激光雷达距离估计技术 . 红外与激光工程, 2016, 45(9): 906005-0906005(6). doi: 10.3788/IRLA201645.0906005
    [14] 张欣婷, 安志勇, 亢磊.  三维激光雷达发射/接收共光路光学系统设计 . 红外与激光工程, 2016, 45(6): 618004-0618004(5). doi: 10.3788/IRLA201645.0618004
    [15] 吕丹, 孙剑峰, 李琦, 王骐.  基于激光雷达距离像的目标3D姿态估计 . 红外与激光工程, 2015, 44(4): 1115-1120.
    [16] 王强, 张勇, 郝利丽, 靳辰飞, 杨旭, 徐璐, 杨成华, 赵远.  基于奇相干叠加态的超分辨率量子激光雷达 . 红外与激光工程, 2015, 44(9): 2569-2574.
    [17] 陈骁, 石志广, 杨卫平, 凌建国.  利用三维点云的圆锥状弹头目标参数估计 . 红外与激光工程, 2014, 43(10): 3480-3485.
    [18] 杨文秀, 付文兴, 周志伟, 余巍, 马杰.  基于投影降维的激光雷达快速目标识别 . 红外与激光工程, 2014, 43(S1): 1-7.
    [19] 赵培娥, 罗雄, 曹文勇, 赵彬, 冯立天, 李晓锋, 谭锦, 周鼎富.  应用Zoom FFT方法提高相干测风激光雷达频谱分辨率 . 红外与激光工程, 2014, 43(1): 98-102.
    [20] 李小珍, 吴玉峰, 郭亮, 曾晓东.  合成孔径激光雷达下视三维成像构型及算法 . 红外与激光工程, 2014, 43(10): 3276-3281.
  • 加载中
图(4) / 表(2)
计量
  • 文章访问数:  44
  • HTML全文浏览量:  6
  • PDF下载量:  17
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-12-06
  • 修回日期:  2020-01-14
  • 网络出版日期:  2020-09-22
  • 刊出日期:  2020-08-28

激光雷达三维距离像超分辨重构方法研究

doi: 10.3788/IRLA20190511
    作者简介:

    龚道然(1995-),男,硕士生,主要从事Gm-APD激光雷达三维距离像超分辨重构方面的研究。Email:gongdaoran@126.com

    李思宁(1968-),男,教授,博士生导师,博士,主要从事激光雷达和短波长激光方面的研究。Email:siningli@sina.com

  • 中图分类号: TN958.98

摘要: 针对目前激光雷达三维距离像分辨率低的问题,使用成本低且有效的图像处理方法获得高分辨三维距离像。首先,利用多传感器系统的特点,将低分辨率Gm-APD激光雷达与高分辨率ICCD激光雷达相结合,获得配准后的低分辨距离像和高分辨强度像,然后,提出了一种改进的图像引导算法实现低分辨图像超分辨重构。该方法使用马尔科夫随机场模型,定义了全局能量函数,该函数将距离保真项和正则化项相结合,通过求解优化模型获得高分辨三维距离像。通过对仿真图像和激光雷达距离像的超分辨重构处理,以主观视觉效果和图像质量客观评价指标来验证此方法。实验结果表明,该方法提高了距离像的分辨率,且很好地保护了图像的边缘结构,在无参考图像质量评价指标上较双三次插值、引导滤波和TGV取得更优值。

English Abstract

    • 为了获取客观世界更多信息,将二维像扩展到具有距离信息的三维像是极其必要的。三维像可以广泛应用于目标探测、姿态识别、人脸识别和自动驾驶等领域[1]。在获取三维距离像的方式中,激光雷达有着无与伦比的先天优势:成本低、成像速度快、测距精度高、植被穿透力强、抗干扰能力强、隐蔽性好等特点[2],具有广阔的应用前景。

      文中使用基于盖革模式APD阵列(Gm-APD)激光雷达进行成像得到低分辨三维距离像。Gm-APD激光雷达具有单光子探测能力,因此其探测灵敏度高,探测距离远。目前,该类激光雷达研究处于领先地位的是美国麻省理工学院林肯实验室,其研究的Gm-APD激光雷达像元数可达256×256[3]。国内在这方面的研究起步较晚,且受器件限制,像元数可达64×64。如果从硬件角度出发,想要获得高分辨的三维距离像,需要大阵列Gm-APD激光雷达,其造价昂贵。通过高像元数ICCD激光雷达和低像元数Gm-APD激光雷达复合成像超分辨三维重构是获取大规模激光图像像元数的可行技术途径。该方法可以低成本且有效地解决激光雷达三维距离像分辨率低的问题。

      在许多应用场景下,往往只有一帧可用的低分辨图像,因此,国内外学者对单帧图像超分辨重构进行了广泛的研究,现有的超分辨重构方法可大致分为基于插值、基于重建模型和基于学习三类[4]

      基于插值的超分辨重构技术,广泛使用的是最邻近插值、双线性插值和双三次插值。最邻近插值认为未知像元与最邻近像元的强度值相同。双线性插值是利用未知像元邻近的四个像元线性插值获得未知像元强度的插值方法。双三次插值[5]利用多项式插值函数对未知像元强度进行计算,效果在以上三种插值中最好,但运行速度最慢。谢美华等人[6]通过建立一个与各点梯度值成反比的权函数来对图像进行插值。该方法对边缘信息较简单、对比度较强的图像插值效果明显,对边缘特征复杂的图像而言,其插值效果也优于双线性等插值方法。姚勋祥等人[7]利用多尺度分形特征将图像划分为多个区域,在不同区域采用不同的插值模型,该算法能够有效划分纹理和非纹理区域,且对纹理的信息的保存优于传统算法,获得了较好的主客观效果。该类方法只依赖自身图像信息,难以有效恢复出细节信息。

      基于学习的超分辨重构技术,Dong等人[8]最早将神经网络应用于图像超分辨重构方向,利用端到端的三层卷积层对低分辨图像进行计算处理。Dong等人[9]在此基础上增加了卷积层数量以扩大感受野,并且在网络末端添加反卷积层以增加超分辨重构速度。该类方法需要大量学习外部样本建立样本库才能实现图像超分辨重构。由于不具备丰富的高分辨Gm-APD激光雷达三维距离像样本库,因此这种方法不适用于利用激光雷达距离像实现超分辨重构。

      近年来,基于重建模型的超分辨重构方法是国际研究热点。基于重建模型的方法是将图像的先验知识作为约束条件加入到图像超分辨重构过程中。其中,通过高分辨率传感器采集强度像,利用高分辨强度图像作为先验知识对超分辨重构效果提升明显。这种图像引导算法可分为两类,一类是联合局部线性滤波算法,另一类是基于贝叶斯决策论的全局能量优化算法。第一种是在传统双边滤波的基础上引入高分辨强度图像信息。Kopf等人[10]提出了一种联合双边上采样滤波器(JBUF)方法,把高分辨强度图像和距离图像作为滤波器的两个高斯内核。JBUF在细节丰富度、边缘锐利度和图像质量评价指标MSE上优于最邻近插值、双三次插值和高斯滤波上采样算法。He等人[11]提出一种局部线性引导滤波器,该方法不需要滤波器窗口大小的设置,其运行时间约为JBUF的十分之一。

      基于全局能量优化的超分辨重构方法,Diebel等人[12]将超分辨重构问题转化为求解基于马尔可夫随机场优化模型的问题,首次将强度图像先验知识加入到正则化项中,构建距离保真项和正则化项L2范数模型。Park等人[13],将非局部均值项添加到正则化项中,并将色彩相似度引导项、超像素分割引导项、边缘显著度引导项和双三次插值引导项添加到加权函数的平滑项中。新模型可以获得更好的细节和边缘结构,但更多的约束项增加了算法的时间复杂度。Ferstl等人[14]提出了基于各向异性二阶广义总变分(TGV)的方法,计算了强度图像中的各向异性扩散张量,把高分辨强度图像信息作为正则化项。Lei等人[15]在色彩相似度和双三次插值图像引导的正则化项中添加了区域相似度来引导高分辨距离像生成,该方法较其他图像引导方法迭代速度更快、重构效果更好,但其区域相似度引导项的标准差是固定的,对于不同距离图像,可能发生区域相似度过引导或欠引导,以致重构质量不稳定,达不到理想效果。

      文中在Lei等人提出的图像引导算法上进行改进,改进了区域相似度引导项,通过利用由Gm-APD激光雷达和ICCD激光雷达组成的多传感器成像系统获取探测目标的距离、强度图像,对距离图像和强度图像进行预处理并配准,并使用改进的图像引导算法进行超分辨重构处理得到高分辨三维距离像。

    • 该系统的原理示意图如图1所示。光学成像系统设计用于同时采集低分辨率Gm-APD激光雷达三维距离像的和高分辨率ICCD激光雷达强度像,并进行三维距离图像的超分辨重构。图像处理分为三个步骤:(1)对距离图像和强度图像进行预处理;(2)对低分辨距离图像和高分辨强度图像进行配准;(3)利用高分辨强度像引导距离图像进行超分辨重构。

      图  1  系统原理图

      Figure 1.  System schematic diagram

    • 图像引导超分辨重构算法的基本思想是假设距离图像和强度图像具有相似的边缘结构,利用马尔可夫随机场模型表达图像空间邻域之间的关系,基于马尔可夫随机场先验模型,构建最大后验概率的具有距离保真项和正则化项目标函数,把距离图像和强度图像的先验知识添加到正则化项的高斯核函数中,将超分辨重构问题转化为最优化求解问题,并采用共轭梯度法求解最优化问题以获得复原高分辨距离像。

      对于定义在二维空间上的图像,可以将其看成一个二维随机场,且马尔可夫性质描述了图像中邻近像素之间的关系,因此可以利用马尔可夫随机场来模拟数字图像,对于超分辨重构问题就转化为求解马尔可夫随机场优化模型问题。该问题的求解核心就是在高分辨强度像z和低分辨距离像x的约束下解得使马尔可夫随机场后验概率最大化时对应的重建距离值。马尔可夫随机场的概率分布可用吉布斯分布表示。后验概率的约束项由两部分组成,距离保真项Pd和正则化项Pr。重建距离值y的条件分布由下式表示:

      $$P(y|x,z) = \dfrac{1}{E}\exp \left( - \dfrac{1}{2}({P_d} + \lambda {P_r})\right)$$ (1)

      式中:E为归一化因子;λ为正则化项的权重。正则化项权重控制正则化项与距离保真项之间的比重,正则化项权重过高,模型发生欠拟合,复原高分辨图像过平滑,正则化项权重过低,模型发生过拟合,复原高分辨图像细节信息缺失。

      因此,后验概率最大化问题转化为关于y的全局能量最小化问题:

      $$y = \arg \mathop {\min }\limits_y \{ {P_d} + \lambda {P_r}\} $$ (2)

      能量优化方程定义如下:

      $$E(D) = {E_d}(D) + \lambda {E_r}(D)$$ (3)

      能量优化方程由距离保真项和正则化项组成。其中,D表示复原高分辨距离像。距离保真项如下:

      $${E_d}(D) = \sum\limits_{p \in M} {||} D(p) - G(p)|{|^2}$$ (4)

      式中: G 为低分辨距离像通过插值后得到的高分辨距离像; p 为像素; M 为距离图像的所有像素集合;‖·‖为 L2 范数。距离保真项描述了复原高分辨距离像与原始低分辨距离图像的平方误差,它使得复原高分辨图像不会过于偏离低分辨图像。

      正则化项描述了高分辨距离像的先验正则化,其通过引入先验知识生成更可靠的高分辨图像。它在强度图像的弱纹理区域具有较强的约束,在强纹理变化的区域约束力较弱。

      $$\begin{split} {E_r}(D) = &\sum\limits_p \sum\limits_{q \in N(p)} {\frac{{{w_{pq}}}}{{{W_p}}}} {\left\| {D(p) - D(q)} \right\|^2} \\ {W_p} =& \displaystyle\sum_q {{w_{pq}}} \\ \end{split} $$ (5)

      式中:N(p)为p的邻域像素集合;qp的邻域像素;Wp归一化因子;wpq为置信加权,由公式(6)计算:

      $$\begin{split} {w_{pq}} = &{w_c} \cdot {w_g} \cdot {w_n} \\ {w_c} =& \exp \left( - \dfrac{{{{(I(p) - I(q))}^2}}}{{2\sigma _c^2}}\right) \\ {w_g} = &\exp \left( - \dfrac{{{{({D_g}(p) - {D_g}(q))}^2}}}{{2\sigma _g^2}}\right) \\ {w_n} =&\sum\limits_{m \in \Omega (p)} {} h(m)\exp ( - {({D_g}(p + m) - {D_g}(q + m))^2}) \\ \end{split} $$ (6)

      式中:I为高分辨强度图像;wc为色彩相似度权重,由高分辨强度像I计算得到,其利用高分辨强度像的纹理边缘信息引导新像元的生成;wg为距离相似度权重,由通过对低分辨距离像双三次插值生成的高分辨率距离像Dg计算得到,其用来平衡色彩相似度的引导强度,降低纹理复制现象的发生;wn为区域相似度权重,参照非局部均值滤波器设计,由Dg计算得到,其能锐化边缘、减弱噪声和保护边缘结构;mΩ为在局部邻域窗口Ω中指向像素p的向量;h(m)为该权重项的高斯权重函数。σcσg控制wcwg的相对灵敏度。

      优化方程(3)通过共轭梯度法求解。

    • 标准模型的区域引导项中没有可调控灵敏度的高斯核函数标准差,对于不同距离图像,可能发生区域相似度过引导或欠引导,以致重构质量不稳定,达不到理想效果。因此,文中在区域相似度引导项wn中引入可控高斯核函数标准差σn以调节其灵敏度,便于控制引导强度,公式如下:

      $${w_n} =\displaystyle \sum_{m \in \Omega (p)} {h(m)\exp \left( - {{(\dfrac{{{D_g}(p + m) - {D_g}(q + m)}}{{2\sigma _n^2}})}^2}\right)} $$ (7)

      文中进行超分辨实验时选用的邻域窗口为3×3,搜索窗口为5×5。通过实验结果分析得到这种窗口大小的选择满足了较快的运行时间和较准确的实验结果。通过大量实验结果总结发现:当σcσn的取值分别使wcwn的最小值为最小,σg的取值使wg的最小值为0.5左右,正则化项权重为10时,超分辨重构结果较理想。

    • 使用Middleburg数据集对算法进行了定量评估。为了验证超分辨重构效果,使用了不同的因子(X2,X4,X8,X16)对距离图像进行了下采样,模拟低分辨距离图像,并且添加了高斯噪声验证算法的鲁棒性。文中方法与双三次插值、引导滤波和二阶广义总变分(TGV)进行比较。该仿真在MATLAB R2018a上实现,系统配置为2.2 Ghz CPU,8 GB RAM。距离保真项中引导距离像$G$通过对低分辨距离像双三次插值得到。图2为×8放大倍数下的视觉效果,其中添加了均值为0,方差为0.01的高斯噪声。

      图  2  Middleburg数据集处理结果

      Figure 2.  Middleburg data set processing results

      图2可以看出,双三次插值重构距离像是最模糊的,细节信息难以分辨。引导滤波重构距离像较双三次插值像清晰,从局部放大图看出边缘部分结构遭到破坏。TGV重构距离像出现了严重的纹理复制现象。文中方法重构距离像纹理清晰、边缘锐利、具有一定的消噪能力,与真实距离像最接近。

      使用均方根误差(RMSE)和结构相似度(SSIM)两个图像质量评价指标来客观评估不同方法的准确性和鲁棒性,实验中添加了均值为0,方差为0.001的高斯噪声,评价结果如表1所示。

      表 1  不同方法的有参考图像质量评价指标对比

      Table 1.  Comparison of reference image quality evaluation indicators for different methods

      RMSESSIM
      X2X4X8X16X2X4X8X16
      Bicubic3.824.125.588.380.9690.9790.9690.901
      Guided3.253.845.278.220.9870.9880.9730.905
      TGV4.335.757.6812.650.9910.9790.9490.839
      Proposed2.473.825.198.010.9940.9910.9780.920

      表1表明文中算法在所有放大倍数下获得最优值。

    • 对Gm-APD激光雷达和ICCD激光雷达采集的真实数据进行超分辨测试。Gm-APD激光雷达采集的距离像分辨率为64×64,强度像分辨率为480×640,由于视场不同,经过配准后获得分辨率为366×328的强度像。最邻近插值较双线性插值和双三次插值获得的图像清晰度高且边缘锐利,因此距离保真项中引导距离像$G$通过对低分辨距离像最邻近插值得到,图3显示了文中方法与不同算法的视觉效果。

      图  3  激光雷达距离图像处理结果

      Figure 3.  Laser radar range image processing results

      图3可以看出,双三次插值重构高分辨距离像模糊、边缘过平滑。由此可见双三次插值算法通过多项式插值函数计算图像边缘未知像元时会出现渐变距离值。引导滤波重构高分辨距离像较双三次插值重构像清晰,但边缘结构破坏严重。TGV重构高分辨距离像较双三次插值重构像和引导滤波重构像清晰,但纹理复制现象最明显。由此可见该方法在重构距离像过程中强度像引导强度过高。文中方法合理约束强度像引导强度,因此重构高分辨距离像不仅图像清晰,边缘锐利,且纹理复制现象不明显。

      使用四种无参考图像质量评价指标来客观评估不同方法超分辨重构效果,评价结果如表2所示。

      表 2  不同方法的无参考图像质量评价指标对比

      Table 2.  Comparison of evaluation indices of no-reference image quality for different methods

      Brenner gradientEnergy gradientInformation entropyLaplacian gradient
      LR image12.73.25.820.4
      Bicubic24.23.36.431.1
      Guided 18.22.16.491.3
      TGV40.37.76.102.0
      Proposed60.112.3 5.971.9

      表2可以看出几种方法的评价指标都在低分辨距离像的基础上有所提高,综合来看,文中方法得到的图像质量评价指标在所有对比方法中最高。

      主观视觉效果和客观评价指标表明文中方法较双三次插值、引导滤波和TGV取得了对仿真图像和真实距离像更优的超分辨重构效果。

    • 文中将低分辨Gm-APD激光雷达三维距离像和高分辨ICCD激光雷达强度像相结合,提出了改进的用于三维距离像超分辨的图像引导算法。仿真数据和真实数据的实验验证了文中方法具有较高的重构数据准确性和一定的算法鲁棒性。文中方法重构距离像在距离突变区域产生过渡点,造成图像边缘模糊,使重构质量下降,因此,算法对于距离突变区域如何处理将是下一步的研究方向。

参考文献 (15)

目录

    /

    返回文章
    返回