-
为了获取客观世界更多信息，将二维像扩展到具有距离信息的三维像是极其必要的。三维像可以广泛应用于目标探测、姿态识别、人脸识别和自动驾驶等领域[1]。在获取三维距离像的方式中，激光雷达有着无与伦比的先天优势：成本低、成像速度快、测距精度高、植被穿透力强、抗干扰能力强、隐蔽性好等特点[2]，具有广阔的应用前景。
文中使用基于盖革模式APD阵列（Gm-APD）激光雷达进行成像得到低分辨三维距离像。Gm-APD激光雷达具有单光子探测能力，因此其探测灵敏度高，探测距离远。目前，该类激光雷达研究处于领先地位的是美国麻省理工学院林肯实验室，其研究的Gm-APD激光雷达像元数可达256×256[3]。国内在这方面的研究起步较晚，且受器件限制，像元数可达64×64。如果从硬件角度出发，想要获得高分辨的三维距离像，需要大阵列Gm-APD激光雷达，其造价昂贵。通过高像元数ICCD激光雷达和低像元数Gm-APD激光雷达复合成像超分辨三维重构是获取大规模激光图像像元数的可行技术途径。该方法可以低成本且有效地解决激光雷达三维距离像分辨率低的问题。
在许多应用场景下，往往只有一帧可用的低分辨图像，因此，国内外学者对单帧图像超分辨重构进行了广泛的研究，现有的超分辨重构方法可大致分为基于插值、基于重建模型和基于学习三类[4]。
基于插值的超分辨重构技术，广泛使用的是最邻近插值、双线性插值和双三次插值。最邻近插值认为未知像元与最邻近像元的强度值相同。双线性插值是利用未知像元邻近的四个像元线性插值获得未知像元强度的插值方法。双三次插值[5]利用多项式插值函数对未知像元强度进行计算，效果在以上三种插值中最好，但运行速度最慢。谢美华等人[6]通过建立一个与各点梯度值成反比的权函数来对图像进行插值。该方法对边缘信息较简单、对比度较强的图像插值效果明显，对边缘特征复杂的图像而言，其插值效果也优于双线性等插值方法。姚勋祥等人[7]利用多尺度分形特征将图像划分为多个区域，在不同区域采用不同的插值模型，该算法能够有效划分纹理和非纹理区域，且对纹理的信息的保存优于传统算法，获得了较好的主客观效果。该类方法只依赖自身图像信息，难以有效恢复出细节信息。
基于学习的超分辨重构技术，Dong等人[8]最早将神经网络应用于图像超分辨重构方向，利用端到端的三层卷积层对低分辨图像进行计算处理。Dong等人[9]在此基础上增加了卷积层数量以扩大感受野，并且在网络末端添加反卷积层以增加超分辨重构速度。该类方法需要大量学习外部样本建立样本库才能实现图像超分辨重构。由于不具备丰富的高分辨Gm-APD激光雷达三维距离像样本库，因此这种方法不适用于利用激光雷达距离像实现超分辨重构。
近年来，基于重建模型的超分辨重构方法是国际研究热点。基于重建模型的方法是将图像的先验知识作为约束条件加入到图像超分辨重构过程中。其中，通过高分辨率传感器采集强度像，利用高分辨强度图像作为先验知识对超分辨重构效果提升明显。这种图像引导算法可分为两类，一类是联合局部线性滤波算法，另一类是基于贝叶斯决策论的全局能量优化算法。第一种是在传统双边滤波的基础上引入高分辨强度图像信息。Kopf等人[10]提出了一种联合双边上采样滤波器（JBUF）方法，把高分辨强度图像和距离图像作为滤波器的两个高斯内核。JBUF在细节丰富度、边缘锐利度和图像质量评价指标MSE上优于最邻近插值、双三次插值和高斯滤波上采样算法。He等人[11]提出一种局部线性引导滤波器，该方法不需要滤波器窗口大小的设置，其运行时间约为JBUF的十分之一。
基于全局能量优化的超分辨重构方法，Diebel等人[12]将超分辨重构问题转化为求解基于马尔可夫随机场优化模型的问题，首次将强度图像先验知识加入到正则化项中，构建距离保真项和正则化项L2范数模型。Park等人[13]，将非局部均值项添加到正则化项中，并将色彩相似度引导项、超像素分割引导项、边缘显著度引导项和双三次插值引导项添加到加权函数的平滑项中。新模型可以获得更好的细节和边缘结构，但更多的约束项增加了算法的时间复杂度。Ferstl等人[14]提出了基于各向异性二阶广义总变分（TGV）的方法，计算了强度图像中的各向异性扩散张量，把高分辨强度图像信息作为正则化项。Lei等人[15]在色彩相似度和双三次插值图像引导的正则化项中添加了区域相似度来引导高分辨距离像生成，该方法较其他图像引导方法迭代速度更快、重构效果更好，但其区域相似度引导项的标准差是固定的，对于不同距离图像，可能发生区域相似度过引导或欠引导，以致重构质量不稳定，达不到理想效果。
文中在Lei等人提出的图像引导算法上进行改进，改进了区域相似度引导项，通过利用由Gm-APD激光雷达和ICCD激光雷达组成的多传感器成像系统获取探测目标的距离、强度图像，对距离图像和强度图像进行预处理并配准，并使用改进的图像引导算法进行超分辨重构处理得到高分辨三维距离像。
-
该系统的原理示意图如图1所示。光学成像系统设计用于同时采集低分辨率Gm-APD激光雷达三维距离像的和高分辨率ICCD激光雷达强度像，并进行三维距离图像的超分辨重构。图像处理分为三个步骤：（1）对距离图像和强度图像进行预处理；（2）对低分辨距离图像和高分辨强度图像进行配准；（3）利用高分辨强度像引导距离图像进行超分辨重构。
图 1 系统原理图
Figure 1. System schematic diagram
-
图像引导超分辨重构算法的基本思想是假设距离图像和强度图像具有相似的边缘结构，利用马尔可夫随机场模型表达图像空间邻域之间的关系，基于马尔可夫随机场先验模型，构建最大后验概率的具有距离保真项和正则化项目标函数，把距离图像和强度图像的先验知识添加到正则化项的高斯核函数中，将超分辨重构问题转化为最优化求解问题，并采用共轭梯度法求解最优化问题以获得复原高分辨距离像。
对于定义在二维空间上的图像，可以将其看成一个二维随机场，且马尔可夫性质描述了图像中邻近像素之间的关系，因此可以利用马尔可夫随机场来模拟数字图像，对于超分辨重构问题就转化为求解马尔可夫随机场优化模型问题。该问题的求解核心就是在高分辨强度像z和低分辨距离像x的约束下解得使马尔可夫随机场后验概率最大化时对应的重建距离值。马尔可夫随机场的概率分布可用吉布斯分布表示。后验概率的约束项由两部分组成，距离保真项Pd和正则化项Pr。重建距离值y的条件分布由下式表示：
$$P(y|x,z) = \dfrac{1}{E}\exp \left( - \dfrac{1}{2}({P_d} + \lambda {P_r})\right)$$ (1) 式中：E为归一化因子；λ为正则化项的权重。正则化项权重控制正则化项与距离保真项之间的比重，正则化项权重过高，模型发生欠拟合，复原高分辨图像过平滑，正则化项权重过低，模型发生过拟合，复原高分辨图像细节信息缺失。
因此，后验概率最大化问题转化为关于y的全局能量最小化问题：
$$y = \arg \mathop {\min }\limits_y \{ {P_d} + \lambda {P_r}\} $$ (2) 能量优化方程定义如下：
$$E(D) = {E_d}(D) + \lambda {E_r}(D)$$ (3) 能量优化方程由距离保真项和正则化项组成。其中，D表示复原高分辨距离像。距离保真项如下：
$${E_d}(D) = \sum\limits_{p \in M} {||} D(p) - G(p)|{|^2}$$ (4) 式中： G 为低分辨距离像通过插值后得到的高分辨距离像； p 为像素； M 为距离图像的所有像素集合；‖·‖为 L2 范数。距离保真项描述了复原高分辨距离像与原始低分辨距离图像的平方误差，它使得复原高分辨图像不会过于偏离低分辨图像。
正则化项描述了高分辨距离像的先验正则化，其通过引入先验知识生成更可靠的高分辨图像。它在强度图像的弱纹理区域具有较强的约束，在强纹理变化的区域约束力较弱。
$$\begin{split} {E_r}(D) = &\sum\limits_p \sum\limits_{q \in N(p)} {\frac{{{w_{pq}}}}{{{W_p}}}} {\left\| {D(p) - D(q)} \right\|^2} \\ {W_p} =& \displaystyle\sum_q {{w_{pq}}} \\ \end{split} $$ (5) 式中：N(p)为p的邻域像素集合；q为p的邻域像素；Wp为
归一化因子；wpq为置信加权，由公式(6)计算： $$\begin{split} {w_{pq}} = &{w_c} \cdot {w_g} \cdot {w_n} \\ {w_c} =& \exp \left( - \dfrac{{{{(I(p) - I(q))}^2}}}{{2\sigma _c^2}}\right) \\ {w_g} = &\exp \left( - \dfrac{{{{({D_g}(p) - {D_g}(q))}^2}}}{{2\sigma _g^2}}\right) \\ {w_n} =&\sum\limits_{m \in \Omega (p)} {} h(m)\exp ( - {({D_g}(p + m) - {D_g}(q + m))^2}) \\ \end{split} $$ (6) 式中：I为高分辨强度图像；wc为色彩相似度权重，由高分辨强度像I计算得到，其利用高分辨强度像的纹理边缘信息引导新像元的生成；wg为距离相似度权重，由通过对低分辨距离像双三次插值生成的高分辨率距离像Dg计算得到，其用来平衡色彩相似度的引导强度，降低纹理复制现象的发生；wn为区域相似度权重，参照非局部均值滤波器设计，由Dg计算得到，其能锐化边缘、减弱噪声和保护边缘结构；m∈Ω为在局部邻域窗口Ω中指向像素p的向量；h(m)为该权重项的高斯权重函数。σc和σg控制wc和wg的相对灵敏度。
优化方程(3)通过共轭梯度法求解。
-
标准模型的区域引导项中没有可调控灵敏度的高斯核函数标准差，对于不同距离图像，可能发生区域相似度过引导或欠引导，以致重构质量不稳定，达不到理想效果。因此，文中在区域相似度引导项wn中引入可控高斯核函数标准差σn以调节其灵敏度，便于控制引导强度，公式如下：
$${w_n} =\displaystyle \sum_{m \in \Omega (p)} {h(m)\exp \left( - {{(\dfrac{{{D_g}(p + m) - {D_g}(q + m)}}{{2\sigma _n^2}})}^2}\right)} $$ (7) 文中进行超分辨实验时选用的邻域窗口为3×3，搜索窗口为5×5。通过实验结果分析得到这种窗口大小的选择满足了较快的运行时间和较准确的实验结果。通过大量实验结果总结发现：当σc和σn的取值分别使wc和wn的最小值为最小，σg的取值使wg的最小值为0.5左右，正则化项权重为10时，超分辨重构结果较理想。
-
使用Middleburg数据集对算法进行了定量评估。为了验证超分辨重构效果，使用了不同的因子(X2，X4，X8，X16)对距离图像进行了下采样，模拟低分辨距离图像，并且添加了高斯噪声验证算法的鲁棒性。文中方法与双三次插值、引导滤波和二阶广义总变分（TGV）进行比较。该仿真在MATLAB R2018a上实现，系统配置为2.2 Ghz CPU，8 GB RAM。距离保真项中引导距离像
$G$ 通过对低分辨距离像双三次插值得到。图2为×8放大倍数下的视觉效果，其中添加了均值为0，方差为0.01的高斯噪声。
图 2 Middleburg数据集处理结果
Figure 2. Middleburg data set processing results
从图2可以看出，双三次插值重构距离像是最模糊的，细节信息难以分辨。引导滤波重构距离像较双三次插值像清晰，从局部放大图看出边缘部分结构遭到破坏。TGV重构距离像出现了严重的纹理复制现象。文中方法重构距离像纹理清晰、边缘锐利、具有一定的消噪能力，与真实距离像最接近。
使用均方根误差(RMSE)和结构相似度(SSIM)两个图像质量评价指标来客观评估不同方法的准确性和鲁棒性，实验中添加了均值为0，方差为0.001的高斯噪声，评价结果如表1所示。
表 1 不同方法的有参考图像质量评价指标对比
Table 1. Comparison of reference image quality evaluation indicators for different methods
RMSE SSIM X2 X4 X8 X16 X2 X4 X8 X16 Bicubic 3.82 4.12 5.58 8.38 0.969 0.979 0.969 0.901 Guided 3.25 3.84 5.27 8.22 0.987 0.988 0.973 0.905 TGV 4.33 5.75 7.68 12.65 0.991 0.979 0.949 0.839 Proposed 2.47 3.82 5.19 8.01 0.994 0.991 0.978 0.920 表1表明文中算法在所有放大倍数下获得最优值。
-
对Gm-APD激光雷达和ICCD激光雷达采集的真实数据进行超分辨测试。Gm-APD激光雷达采集的距离像分辨率为64×64，强度像分辨率为480×640，由于视场不同，经过配准后获得分辨率为366×328的强度像。最邻近插值较双线性插值和双三次插值获得的图像清晰度高且边缘锐利，因此距离保真项中引导距离像
$G$ 通过对低分辨距离像最邻近插值得到，图3显示了文中方法与不同算法的视觉效果。
图 3 激光雷达距离图像处理结果
Figure 3. Laser radar range image processing results
从图3可以看出，双三次插值重构高分辨距离像模糊、边缘过平滑。由此可见双三次插值算法通过多项式插值函数计算图像边缘未知像元时会出现渐变距离值。引导滤波重构高分辨距离像较双三次插值重构像清晰，但边缘结构破坏严重。TGV重构高分辨距离像较双三次插值重构像和引导滤波重构像清晰，但纹理复制现象最明显。由此可见该方法在重构距离像过程中强度像引导强度过高。文中方法合理约束强度像引导强度，因此重构高分辨距离像不仅图像清晰，边缘锐利，且纹理复制现象不明显。
使用四种无参考图像质量评价指标来客观评估不同方法超分辨重构效果，评价结果如表2所示。
表 2 不同方法的无参考图像质量评价指标对比
Table 2. Comparison of evaluation indices of no-reference image quality for different methods
Brenner gradient Energy gradient Information entropy Laplacian gradient LR image 12.7 3.2 5.82 0.4 Bicubic 24.2 3.3 6.43 1.1 Guided 18.2 2.1 6.49 1.3 TGV 40.3 7.7 6.10 2.0 Proposed 60.1 12.3 5.97 1.9 从表2可以看出几种方法的评价指标都在低分辨距离像的基础上有所提高，综合来看，文中方法得到的图像质量评价指标在所有对比方法中最高。
主观视觉效果和客观评价指标表明文中方法较双三次插值、引导滤波和TGV取得了对仿真图像和真实距离像更优的超分辨重构效果。
-
文中将低分辨Gm-APD激光雷达三维距离像和高分辨ICCD激光雷达强度像相结合，提出了改进的用于三维距离像超分辨的图像引导算法。仿真数据和真实数据的实验验证了文中方法具有较高的重构数据准确性和一定的算法鲁棒性。文中方法重构距离像在距离突变区域产生过渡点，造成图像边缘模糊，使重构质量下降，因此，算法对于距离突变区域如何处理将是下一步的研究方向。
Research on super resolution reconstruction of laser radar range profile
-
摘要: 针对目前激光雷达三维距离像分辨率低的问题，使用成本低且有效的图像处理方法获得高分辨三维距离像。首先，利用多传感器系统的特点，将低分辨率Gm-APD激光雷达与高分辨率ICCD激光雷达相结合，获得配准后的低分辨距离像和高分辨强度像，然后，提出了一种改进的图像引导算法实现低分辨图像超分辨重构。该方法使用马尔科夫随机场模型，定义了全局能量函数，该函数将距离保真项和正则化项相结合，通过求解优化模型获得高分辨三维距离像。通过对仿真图像和激光雷达距离像的超分辨重构处理，以主观视觉效果和图像质量客观评价指标来验证此方法。实验结果表明，该方法提高了距离像的分辨率，且很好地保护了图像的边缘结构，在无参考图像质量评价指标上较双三次插值、引导滤波和TGV取得更优值。Abstract: To solve the problem of low resolution of three-dimensional range profile of lidar, a low cost and effective image processing method was used to obtain high resolution three-dimensional range profile. Firstly, according to the characteristics of multi-sensor system, low-resolution Gm-APD lidar and high-resolution ICCD lidar were combined to obtain low-resolution range profile and high-resolution intensity image after registration. Then, an improved image guidance algorithm was proposed to realize super-resolution reconstruction of low-resolution image. Markov random field model was used to define the global energy function, which combined the distance fidelity term with regularization term, and high resolution three-dimensional range profile was obtained by solving the optimization model. By super-resolution reconstruction of simulated image and lidar range profile, the method was validated by objective evaluation indexes of subjective visual effect and image quality. The experimental results show that the method improves the resolution of range profile and protects the edge structure of the image well. It achieves better results than bicubic interpolation, guided filtering and TGV in the evaluation index of no-reference image quality.
-
Key words:
- super-resolution reconstruction /
- lidar /
- three-dimensional range profile /
- ICCD
-
表 1 不同方法的有参考图像质量评价指标对比
Table 1. Comparison of reference image quality evaluation indicators for different methods
RMSE SSIM X2 X4 X8 X16 X2 X4 X8 X16 Bicubic 3.82 4.12 5.58 8.38 0.969 0.979 0.969 0.901 Guided 3.25 3.84 5.27 8.22 0.987 0.988 0.973 0.905 TGV 4.33 5.75 7.68 12.65 0.991 0.979 0.949 0.839 Proposed 2.47 3.82 5.19 8.01 0.994 0.991 0.978 0.920 
下载: 导出CSV
表 2 不同方法的无参考图像质量评价指标对比
Table 2. Comparison of evaluation indices of no-reference image quality for different methods
Brenner gradient Energy gradient Information entropy Laplacian gradient LR image 12.7 3.2 5.82 0.4 Bicubic 24.2 3.3 6.43 1.1 Guided 18.2 2.1 6.49 1.3 TGV 40.3 7.7 6.10 2.0 Proposed 60.1 12.3 5.97 1.9
下载: 导出CSV
-
[1] Hansard M, Lee S, Choi O, et al. Time-of-Flight Cameras: Principles, Methods and Applications[M]. London: Springer-Verlag , 2012. [2] 刘斌, 张军, 鲁敏, 等. 激光雷达应用技术研究进展[J]. 激光与红外, 2015, 45(2): 117-122. doi: 10.3969/j.issn.1001-5078.2015.02.001 Liu Bin, Zhang Jun, Lu Min, et al. Research progress of laser radar applications [J]. Laser and Infrared, 2015, 45(2): 117-122. (in Chinese) doi: 10.3969/j.issn.1001-5078.2015.02.001 [3] Aull B F, Schuette D R, Young D J, et al. A study of crosstalk in a 256×256 photon counting imager based on silicon Geiger-Mode avalanche photodiodes [J]. IEEE Sensors Journal, 2014, 15(4): 2123-2132. [4] 黎海雪, 林海涛, 姜栋瀚. 基于马尔科夫随机场的图像超分辨技术研究综述[J]. 通信技术, 2018, 51(10): 2356-2364. doi: 10.3969/j.issn.1002-0802.2018.10.015 Li Haixue, Lin Haitao, Jiang Donghan. Image super resolution technology based on Markov random field [J]. Communications Technology, 2018, 51(10): 2356-2364. (in Chinese) doi: 10.3969/j.issn.1002-0802.2018.10.015 [5] Keys R. Cubic convolution interpolation for digital image processing [J]. IEEE Transactions on Acoustics, Speech, and Signal Processing, 1981, 29(6): 1153-1160. doi: 10.1109/TASSP.1981.1163711 [6] 谢美华, 王正明. 基于图像梯度信息的插值方法[J]. 中国图象图形学报, 2005, 10(7): 856-861. doi: 10.3969/j.issn.1006-8961.2005.07.008 Xie Meihua, Wang Zhengming. Image interpolation based on gradient [J]. Journal of Image and Graphics, 2005, 10(7): 856-861. (in Chinese) doi: 10.3969/j.issn.1006-8961.2005.07.008 [7] 姚勋祥, 张云峰, 宁阳, 等. 多尺度有理分形的图像插值算法[J]. 中国图象图形学报, 2016, 21(4): 482-489. doi: 10.11834/jig.20160410 Yao Xunxiang, Zhang Yunfeng, Ning Yang, et al. Multi-scale feature image interpolation based on a rational fractal function [J]. Journal of Image and Graphics, 2016, 21(4): 482-489. (in Chinese) doi: 10.11834/jig.20160410 [8] Dong C, Loy C C, He K, et al. Learning a deep convolutional network for image super-resolution[C]//European Conference on Computer Vision, 2014: 184-199. [9] Dong C, Loy C C, Tang X. Accelerating the super-resolution convolutional neural network[C]//European Conference on Computer Vision, 2016: 391-407. [10] Kopf J, Cohen M F, Lischinski D, et al. Joint bilateral upsampling[C]//ACM Transactions on Graphics (ToG), ACM, 2007, 26(3): 96. [11] He K, Sun J, Tang X. Guided image filtering [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 35(6): 1397-1409. [12] Diebel J, Thrun S. An application of markov random fields to range sensing[C]//Advances in Neural Information Processing Systems, 2006: 291-298. [13] Park J, Kim H, Tai Y W, et al. High quality depth map upsampling for 3d-tof cameras[C]//2011 International Conference on Computer Vision. IEEE, 2011: 1623-1630. [14] Ferstl D, Reinbacher C, Ranftl R, et al. Image guided depth upsampling using anisotropic total generalized variation[C]//Proceedings of the IEEE International Conference on Computer Vision, 2013: 993-1000. [15] Lei J, Han S, Xia W, et al. An image guided algorithm for range map super-resolution[C]//2017 International Conference on Optical Instruments and Technology: Optoelectronic Imaging/Spectroscopy and Signal Processing Technology. International Society for Optics and Photonics, 2018, 10620: 1062013. -
点击查看大图
图(4) / 表(2)
计量
- 文章访问数: 592
- HTML全文浏览量: 197
- PDF下载量: 73
- 被引次数: 0
