-
该系统的原理示意图如图1所示。光学成像系统设计用于同时采集低分辨率Gm-APD激光雷达三维距离像的和高分辨率ICCD激光雷达强度像,并进行三维距离图像的超分辨重构。图像处理分为三个步骤:(1)对距离图像和强度图像进行预处理;(2)对低分辨距离图像和高分辨强度图像进行配准;(3)利用高分辨强度像引导距离图像进行超分辨重构。
-
图像引导超分辨重构算法的基本思想是假设距离图像和强度图像具有相似的边缘结构,利用马尔可夫随机场模型表达图像空间邻域之间的关系,基于马尔可夫随机场先验模型,构建最大后验概率的具有距离保真项和正则化项目标函数,把距离图像和强度图像的先验知识添加到正则化项的高斯核函数中,将超分辨重构问题转化为最优化求解问题,并采用共轭梯度法求解最优化问题以获得复原高分辨距离像。
对于定义在二维空间上的图像,可以将其看成一个二维随机场,且马尔可夫性质描述了图像中邻近像素之间的关系,因此可以利用马尔可夫随机场来模拟数字图像,对于超分辨重构问题就转化为求解马尔可夫随机场优化模型问题。该问题的求解核心就是在高分辨强度像z和低分辨距离像x的约束下解得使马尔可夫随机场后验概率最大化时对应的重建距离值。马尔可夫随机场的概率分布可用吉布斯分布表示。后验概率的约束项由两部分组成,距离保真项Pd和正则化项Pr。重建距离值y的条件分布由下式表示:
$$P(y|x,z) = \dfrac{1}{E}\exp \left( - \dfrac{1}{2}({P_d} + \lambda {P_r})\right)$$ (1) 式中:E为归一化因子;λ为正则化项的权重。正则化项权重控制正则化项与距离保真项之间的比重,正则化项权重过高,模型发生欠拟合,复原高分辨图像过平滑,正则化项权重过低,模型发生过拟合,复原高分辨图像细节信息缺失。
因此,后验概率最大化问题转化为关于y的全局能量最小化问题:
$$y = \arg \mathop {\min }\limits_y \{ {P_d} + \lambda {P_r}\} $$ (2) 能量优化方程定义如下:
$$E(D) = {E_d}(D) + \lambda {E_r}(D)$$ (3) 能量优化方程由距离保真项和正则化项组成。其中,D表示复原高分辨距离像。距离保真项如下:
$${E_d}(D) = \sum\limits_{p \in M} {||} D(p) - G(p)|{|^2}$$ (4) 式中: G 为低分辨距离像通过插值后得到的高分辨距离像; p 为像素; M 为距离图像的所有像素集合;‖·‖为 L2 范数。距离保真项描述了复原高分辨距离像与原始低分辨距离图像的平方误差,它使得复原高分辨图像不会过于偏离低分辨图像。
正则化项描述了高分辨距离像的先验正则化,其通过引入先验知识生成更可靠的高分辨图像。它在强度图像的弱纹理区域具有较强的约束,在强纹理变化的区域约束力较弱。
$$\begin{split} {E_r}(D) = &\sum\limits_p \sum\limits_{q \in N(p)} {\frac{{{w_{pq}}}}{{{W_p}}}} {\left\| {D(p) - D(q)} \right\|^2} \\ {W_p} =& \displaystyle\sum_q {{w_{pq}}} \\ \end{split} $$ (5) 式中:N(p)为p的邻域像素集合;q为p的邻域像素;Wp为
归一化因子;wpq为置信加权,由公式(6)计算: $$\begin{split} {w_{pq}} = &{w_c} \cdot {w_g} \cdot {w_n} \\ {w_c} =& \exp \left( - \dfrac{{{{(I(p) - I(q))}^2}}}{{2\sigma _c^2}}\right) \\ {w_g} = &\exp \left( - \dfrac{{{{({D_g}(p) - {D_g}(q))}^2}}}{{2\sigma _g^2}}\right) \\ {w_n} =&\sum\limits_{m \in \Omega (p)} {} h(m)\exp ( - {({D_g}(p + m) - {D_g}(q + m))^2}) \\ \end{split} $$ (6) 式中:I为高分辨强度图像;wc为色彩相似度权重,由高分辨强度像I计算得到,其利用高分辨强度像的纹理边缘信息引导新像元的生成;wg为距离相似度权重,由通过对低分辨距离像双三次插值生成的高分辨率距离像Dg计算得到,其用来平衡色彩相似度的引导强度,降低纹理复制现象的发生;wn为区域相似度权重,参照非局部均值滤波器设计,由Dg计算得到,其能锐化边缘、减弱噪声和保护边缘结构;m∈Ω为在局部邻域窗口Ω中指向像素p的向量;h(m)为该权重项的高斯权重函数。σc和σg控制wc和wg的相对灵敏度。
优化方程(3)通过共轭梯度法求解。
-
标准模型的区域引导项中没有可调控灵敏度的高斯核函数标准差,对于不同距离图像,可能发生区域相似度过引导或欠引导,以致重构质量不稳定,达不到理想效果。因此,文中在区域相似度引导项wn中引入可控高斯核函数标准差σn以调节其灵敏度,便于控制引导强度,公式如下:
$${w_n} =\displaystyle \sum_{m \in \Omega (p)} {h(m)\exp \left( - {{(\dfrac{{{D_g}(p + m) - {D_g}(q + m)}}{{2\sigma _n^2}})}^2}\right)} $$ (7) 文中进行超分辨实验时选用的邻域窗口为3×3,搜索窗口为5×5。通过实验结果分析得到这种窗口大小的选择满足了较快的运行时间和较准确的实验结果。通过大量实验结果总结发现:当σc和σn的取值分别使wc和wn的最小值为最小,σg的取值使wg的最小值为0.5左右,正则化项权重为10时,超分辨重构结果较理想。
-
使用Middleburg数据集对算法进行了定量评估。为了验证超分辨重构效果,使用了不同的因子(X2,X4,X8,X16)对距离图像进行了下采样,模拟低分辨距离图像,并且添加了高斯噪声验证算法的鲁棒性。文中方法与双三次插值、引导滤波和二阶广义总变分(TGV)进行比较。该仿真在MATLAB R2018a上实现,系统配置为2.2 Ghz CPU,8 GB RAM。距离保真项中引导距离像
$G$ 通过对低分辨距离像双三次插值得到。图2为×8放大倍数下的视觉效果,其中添加了均值为0,方差为0.01的高斯噪声。从图2可以看出,双三次插值重构距离像是最模糊的,细节信息难以分辨。引导滤波重构距离像较双三次插值像清晰,从局部放大图看出边缘部分结构遭到破坏。TGV重构距离像出现了严重的纹理复制现象。文中方法重构距离像纹理清晰、边缘锐利、具有一定的消噪能力,与真实距离像最接近。
使用均方根误差(RMSE)和结构相似度(SSIM)两个图像质量评价指标来客观评估不同方法的准确性和鲁棒性,实验中添加了均值为0,方差为0.001的高斯噪声,评价结果如表1所示。
表 1 不同方法的有参考图像质量评价指标对比
Table 1. Comparison of reference image quality evaluation indicators for different methods
RMSE SSIM X2 X4 X8 X16 X2 X4 X8 X16 Bicubic 3.82 4.12 5.58 8.38 0.969 0.979 0.969 0.901 Guided 3.25 3.84 5.27 8.22 0.987 0.988 0.973 0.905 TGV 4.33 5.75 7.68 12.65 0.991 0.979 0.949 0.839 Proposed 2.47 3.82 5.19 8.01 0.994 0.991 0.978 0.920 表1表明文中算法在所有放大倍数下获得最优值。
-
对Gm-APD激光雷达和ICCD激光雷达采集的真实数据进行超分辨测试。Gm-APD激光雷达采集的距离像分辨率为64×64,强度像分辨率为480×640,由于视场不同,经过配准后获得分辨率为366×328的强度像。最邻近插值较双线性插值和双三次插值获得的图像清晰度高且边缘锐利,因此距离保真项中引导距离像
$G$ 通过对低分辨距离像最邻近插值得到,图3显示了文中方法与不同算法的视觉效果。从图3可以看出,双三次插值重构高分辨距离像模糊、边缘过平滑。由此可见双三次插值算法通过多项式插值函数计算图像边缘未知像元时会出现渐变距离值。引导滤波重构高分辨距离像较双三次插值重构像清晰,但边缘结构破坏严重。TGV重构高分辨距离像较双三次插值重构像和引导滤波重构像清晰,但纹理复制现象最明显。由此可见该方法在重构距离像过程中强度像引导强度过高。文中方法合理约束强度像引导强度,因此重构高分辨距离像不仅图像清晰,边缘锐利,且纹理复制现象不明显。
使用四种无参考图像质量评价指标来客观评估不同方法超分辨重构效果,评价结果如表2所示。
表 2 不同方法的无参考图像质量评价指标对比
Table 2. Comparison of evaluation indices of no-reference image quality for different methods
Brenner gradient Energy gradient Information entropy Laplacian gradient LR image 12.7 3.2 5.82 0.4 Bicubic 24.2 3.3 6.43 1.1 Guided 18.2 2.1 6.49 1.3 TGV 40.3 7.7 6.10 2.0 Proposed 60.1 12.3 5.97 1.9 从表2可以看出几种方法的评价指标都在低分辨距离像的基础上有所提高,综合来看,文中方法得到的图像质量评价指标在所有对比方法中最高。
主观视觉效果和客观评价指标表明文中方法较双三次插值、引导滤波和TGV取得了对仿真图像和真实距离像更优的超分辨重构效果。
Research on super resolution reconstruction of laser radar range profile
-
摘要: 针对目前激光雷达三维距离像分辨率低的问题,使用成本低且有效的图像处理方法获得高分辨三维距离像。首先,利用多传感器系统的特点,将低分辨率Gm-APD激光雷达与高分辨率ICCD激光雷达相结合,获得配准后的低分辨距离像和高分辨强度像,然后,提出了一种改进的图像引导算法实现低分辨图像超分辨重构。该方法使用马尔科夫随机场模型,定义了全局能量函数,该函数将距离保真项和正则化项相结合,通过求解优化模型获得高分辨三维距离像。通过对仿真图像和激光雷达距离像的超分辨重构处理,以主观视觉效果和图像质量客观评价指标来验证此方法。实验结果表明,该方法提高了距离像的分辨率,且很好地保护了图像的边缘结构,在无参考图像质量评价指标上较双三次插值、引导滤波和TGV取得更优值。Abstract: To solve the problem of low resolution of three-dimensional range profile of lidar, a low cost and effective image processing method was used to obtain high resolution three-dimensional range profile. Firstly, according to the characteristics of multi-sensor system, low-resolution Gm-APD lidar and high-resolution ICCD lidar were combined to obtain low-resolution range profile and high-resolution intensity image after registration. Then, an improved image guidance algorithm was proposed to realize super-resolution reconstruction of low-resolution image. Markov random field model was used to define the global energy function, which combined the distance fidelity term with regularization term, and high resolution three-dimensional range profile was obtained by solving the optimization model. By super-resolution reconstruction of simulated image and lidar range profile, the method was validated by objective evaluation indexes of subjective visual effect and image quality. The experimental results show that the method improves the resolution of range profile and protects the edge structure of the image well. It achieves better results than bicubic interpolation, guided filtering and TGV in the evaluation index of no-reference image quality.
-
Key words:
- super-resolution reconstruction /
- lidar /
- three-dimensional range profile /
- ICCD
-
表 1 不同方法的有参考图像质量评价指标对比
Table 1. Comparison of reference image quality evaluation indicators for different methods
RMSE SSIM X2 X4 X8 X16 X2 X4 X8 X16 Bicubic 3.82 4.12 5.58 8.38 0.969 0.979 0.969 0.901 Guided 3.25 3.84 5.27 8.22 0.987 0.988 0.973 0.905 TGV 4.33 5.75 7.68 12.65 0.991 0.979 0.949 0.839 Proposed 2.47 3.82 5.19 8.01 0.994 0.991 0.978 0.920 表 2 不同方法的无参考图像质量评价指标对比
Table 2. Comparison of evaluation indices of no-reference image quality for different methods
Brenner gradient Energy gradient Information entropy Laplacian gradient LR image 12.7 3.2 5.82 0.4 Bicubic 24.2 3.3 6.43 1.1 Guided 18.2 2.1 6.49 1.3 TGV 40.3 7.7 6.10 2.0 Proposed 60.1 12.3 5.97 1.9 -
[1] Hansard M, Lee S, Choi O, et al. Time-of-Flight Cameras: Principles, Methods and Applications[M]. London: Springer-Verlag , 2012. [2] 刘斌, 张军, 鲁敏, 等. 激光雷达应用技术研究进展[J]. 激光与红外, 2015, 45(2): 117-122. doi: 10.3969/j.issn.1001-5078.2015.02.001 Liu Bin, Zhang Jun, Lu Min, et al. Research progress of laser radar applications [J]. Laser and Infrared, 2015, 45(2): 117-122. (in Chinese) doi: 10.3969/j.issn.1001-5078.2015.02.001 [3] Aull B F, Schuette D R, Young D J, et al. A study of crosstalk in a 256×256 photon counting imager based on silicon Geiger-Mode avalanche photodiodes [J]. IEEE Sensors Journal, 2014, 15(4): 2123-2132. [4] 黎海雪, 林海涛, 姜栋瀚. 基于马尔科夫随机场的图像超分辨技术研究综述[J]. 通信技术, 2018, 51(10): 2356-2364. doi: 10.3969/j.issn.1002-0802.2018.10.015 Li Haixue, Lin Haitao, Jiang Donghan. Image super resolution technology based on Markov random field [J]. Communications Technology, 2018, 51(10): 2356-2364. (in Chinese) doi: 10.3969/j.issn.1002-0802.2018.10.015 [5] Keys R. Cubic convolution interpolation for digital image processing [J]. IEEE Transactions on Acoustics, Speech, and Signal Processing, 1981, 29(6): 1153-1160. doi: 10.1109/TASSP.1981.1163711 [6] 谢美华, 王正明. 基于图像梯度信息的插值方法[J]. 中国图象图形学报, 2005, 10(7): 856-861. doi: 10.3969/j.issn.1006-8961.2005.07.008 Xie Meihua, Wang Zhengming. Image interpolation based on gradient [J]. Journal of Image and Graphics, 2005, 10(7): 856-861. (in Chinese) doi: 10.3969/j.issn.1006-8961.2005.07.008 [7] 姚勋祥, 张云峰, 宁阳, 等. 多尺度有理分形的图像插值算法[J]. 中国图象图形学报, 2016, 21(4): 482-489. doi: 10.11834/jig.20160410 Yao Xunxiang, Zhang Yunfeng, Ning Yang, et al. Multi-scale feature image interpolation based on a rational fractal function [J]. Journal of Image and Graphics, 2016, 21(4): 482-489. (in Chinese) doi: 10.11834/jig.20160410 [8] Dong C, Loy C C, He K, et al. Learning a deep convolutional network for image super-resolution[C]//European Conference on Computer Vision, 2014: 184-199. [9] Dong C, Loy C C, Tang X. Accelerating the super-resolution convolutional neural network[C]//European Conference on Computer Vision, 2016: 391-407. [10] Kopf J, Cohen M F, Lischinski D, et al. Joint bilateral upsampling[C]//ACM Transactions on Graphics (ToG), ACM, 2007, 26(3): 96. [11] He K, Sun J, Tang X. Guided image filtering [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 35(6): 1397-1409. [12] Diebel J, Thrun S. An application of markov random fields to range sensing[C]//Advances in Neural Information Processing Systems, 2006: 291-298. [13] Park J, Kim H, Tai Y W, et al. High quality depth map upsampling for 3d-tof cameras[C]//2011 International Conference on Computer Vision. IEEE, 2011: 1623-1630. [14] Ferstl D, Reinbacher C, Ranftl R, et al. Image guided depth upsampling using anisotropic total generalized variation[C]//Proceedings of the IEEE International Conference on Computer Vision, 2013: 993-1000. [15] Lei J, Han S, Xia W, et al. An image guided algorithm for range map super-resolution[C]//2017 International Conference on Optical Instruments and Technology: Optoelectronic Imaging/Spectroscopy and Signal Processing Technology. International Society for Optics and Photonics, 2018, 10620: 1062013.