Edge area constraint guided filter depth image super-resolution reconstruction algorithm

深度像反映了探测场景中各点到探测器的距离信息，可以反映探测场景真实的几何情况，在自动驾驶^[1-2]、视觉导航、目标识别与探测^[3]和三维重建等工程领域均有广泛运用。此外，深度像的图像质量直接影响其在上述领域的研究与运用。目前，深度像主要依靠TOF相机、扫描式线阵激光雷达和双目相机来获取，双目成像使用计算机视觉计算来获得场景的深度像，虽可以获取较高的分辨率，但是需要复杂的匹配算法，在进行远距离探测时需要较大的基线长度制，所以在实际运用中受到很大限制。TOF相机与激光雷达均是通过主动发生的光线经物体反射回来的时间差来得到距离信息，具有受外部环境影响小、测量距离远、测量精度高等优点，因此得到了广泛运用。但受到器件硬件条件与成本的限制，获得的原始深度像分辨率较低，难以满足诸多场景的运用，因此需要使用超分辨重建技术来提高深度像的分辨率。

相较于深度图，同场景中的彩色图或灰度图具有较高的分辨率，包含了更多的纹理特征信息，因此可以结合同场景中的高分辨彩色图像或者灰度图像对低分辨的深度像进行超分辨重建。例如基于全局优化的方法，该类方法以马尔科夫随机场^[4-7]MRF （Markov Random Field, MRF）和二阶广义总变分^[8-9]TGV （Total Generalized Variation，TGV）为代表，通过构建能量方程得到的最优解作为重建结构，但基于全局优化的算法均需要复杂的迭代计算无法在实时性要求较高的场合下使用。因此，更为主流的是使用滤波的方法对深度像进行超分辨重建，通过同场景的高分辨可见光图像中的边缘特征来引导低分辨深度像重建，例如：参考文献[10-13]基于联合双边滤波算法（Joint Bilateral Up-sampling，JBU），使用高分辨的彩色图像生成颜色相似核函数，然后对通过插值初步上采样的深度像进行双边滤波处理；Shin等^[14]在双边滤波的基础上增加了色域权函数，降低了纹理复制的问题；Li等^[15]对双边滤波进行了改进，增加了深度像边缘特征，提出了联合三边滤波上采样算法（Joint Trilateral Up-sampling，JTU），使得重建的深度像边缘更加清晰；Lo等^[16]在联合三边滤波的基础上结合了梯度算子，并使用迭代的方式逐步对初步上采样的深度像进行了重建，效果在基于多边滤波的方法中最好，但计算步骤比较复杂。相比联合多边滤波的方法，He等^[17]提出了新的边缘保持滤波器导向滤波器（Guide Filter）具有更好的边缘保持效果且没有梯度翻转的问题，同时还具有更高的计算效率，当使用积分图进行运算时算法复杂度仅为O(N)，适用于深度像增强和超分辨重建^[18-20]。但是此方法在纹理复杂的情况下容易出现纹理复制和深度像边缘模糊的情况。李宇翔等人^[21]利用基于学习的方法对边缘进行提取，提高了高分辨像与距离像的边缘一致性，让重建效果得到了进一步提升。

综上所述，文中综合考量超分辨重建效果与计算效率，鉴于导向滤波同时具有边缘保持和计算效率高的优势，提出了一种基于边缘区域约束的导向滤波深度像超分辨率重建算法，并对传统导向滤波在深度像重建上进行了改进。针对深度像在插值上采样过程中边缘信息最容易丢失的问题，将深度像边缘区域中的像素点与高分辨的灰度像相结合，使用导向滤波进行重建。为了进一步抑制边缘模糊提高重建质量，根据边缘区域中的像素点与灰度图像边缘关系进行分类，重新对窗口中滤波参数进行加权得到新的权重系数。实验结果表明，与当前基于滤波的几种算法相比，文中方法可以有效的保护超分辨重建后的深度像边缘，在获得较好的视觉效果的同时也有更高的运行效率。

导向滤波器是具有边缘保持能力的滤波器，由于算法具有视觉效果好、计算速度快以及实现方法简单的优点，近年来被广泛应用于图像增强与三维场景重建。与双边滤波器或多边滤波器相比，导向滤波在边缘保留和细节还原上性能相当，其最主要的优势在于计算过程可以在积分图像已知的情况下通过窗口内的求和运算快速实现，因此算法效率高，可用于实时性要求较高的场景。

使用导向滤波器对深度像进行超分辨重建，其思想是将高分辨的灰度图像或彩色作为参考图像I（引导图），经插值所得的初始上采样深度像作为输入图像${D^{\uparrow} }$，然后用导向滤波算法对初始上采样的深度像进行滤波处理，从而得到重建后的高分辨深度像${D^H}$。其基本依据是^{[17, 22]}：在同场景、图像配准的条件下灰度图像与深度图像存在公共边缘，即存在纹理相似的条件，因此在公共边缘区域中满足：

式中：$\nabla $为微分算子。引导滤波器的输出图像在局部窗口内满足线性模型：

式中：窗口${W_k}$是以k为中心，大小为R×R像素的矩形窗；$({a_k},{b_k})$是${W_k}$窗口中的常数。为了保证输出图像${D^H}$尽可能保留深度图${D^{\uparrow} }$中的深度信息，同时保证边缘纹理与引导图相似，构建最小代价函数形式如下：

式中：$\varepsilon $为防止参数${a_k}$过大的惩罚项，根据线性岭回归模型，可解出a_k和b_k：

式中：${\mu _k}$与$\delta _k^2$是引导图I在窗口${W_k}$中的均值和方差；R×R是窗口中的像素个数；$\overline {D_k^{\uparrow} } $是输入图像在滤波窗口中的均值。因为输出图像${D^H}$在像素点j被多个${W_k}$窗口包含，所以对窗口${W_k}$中的所有$({a_k},{b_k})$取平均，最终重建后的输出图像为：

初始上采样的深度像经导向滤波重建后一定程度上改善了插值过程带来的边缘模糊的问题，但是直接使用导向滤波却带来的了纹理复制的问题。

为了进一步保护深度图像的边缘特征，并抑制重建过程中的纹理复制现象，文中提出了一种基于边缘约束的导向滤波超分辨重建算法。

在使用传统导向滤波算法对深度像进行超分辨重建时，算法假设灰度像与深度像具有相同的边缘特征而未加任何约束，如果深度像和灰度像之间存在边缘不一致的情况（如：相邻像素点在同一深度平面上，但是在灰度像上有较大差异；相邻像素点在灰度像上一致但是在深度像上有差异）超分辨重建后的深度像会出现边缘模糊和纹理复制的问题。为此，在原导向滤波的基础上，引入了低分辨率深度像与高分辨率灰度像的公共边缘特征来约束导向滤波的过程，从而提高深度像的边缘质量，减小了边缘模糊效应。算法主要流程如图1所示。

Figure 1.  Flowchart of the proposed framework for depth map SR

算法主要分为4个部分：

（1）低分辨率深度像的初步上采样：使用双三次插值算法对低分辨深度像D_L做初步上采样，使得与高分辨的灰度像具有同等分辨率，并作为导向滤波的输入图像D^↑。

（2）深度像边缘区域提取：由于低分辨的深度像经上采样后会出现边缘模糊现象，因此对D^↑使用多尺度Canny边缘检测，得到可靠的边缘区域E_D。

（3）公共边缘区域提取：在两幅同场景并配准的条件下相同分辨率的深度像和灰度像边缘位置因具有像素性，据此可以在边缘区域E_D中搜索灰度像边缘，并使用迭代形态学滤波算法提取出公共边缘区域Ω。

（4）基于边缘约束的导向滤波算法：对D^↑中属于公共边缘区域Ω中的像素点，根据与灰度像边缘位置关系进行分类，重新对导向滤波窗口w中的$({a_k},{b_k})$参数进行加权，进一步提高上采样深度图像的质量，而对不属于Ω的像素点直接使用初始上采样值进行替代，最终获得超分辨重建的深度像D^H。

Canny是一种比较优秀的边缘检测算子，具有很好的检测精度，而且对弱边缘检测也较好。但是传统Canny算子是选取固定的尺度参数来检测原图像中的边缘，尺度参数的大小都会影响边缘的检测，特别是低分辨的深度像经过插值上采样后边缘已经出现了模糊现象，使用上述方法提取边缘会出现与真实边缘偏离甚至边缘丢失的情况，以致提取公共边缘失败。因此，文中将边缘提取改为边缘区域的提取，使用多尺度Canny算子对初始上采样深度像进行边缘提取，然后对不同尺度下的边缘进行形态学滤波，最后对不同尺度下的边缘区域进行整合，从而得到深度像的边缘区域。具体步骤如下：

（1）使用多尺度高斯核和对初始上采样深度像进行卷积处理：

式中：g₁、g₂、g₃分别为不同尺度的高斯卷积核，对应的平滑参数${\sigma _1}$，${\sigma _2}$，${\sigma _3}$，对应的卷积核尺寸${R_1}$，${R_2}$，${R_3}$,对平滑参的选取应满足${\delta _1} < {\delta _2} < {\delta _3}$，同理卷积核的尺寸也满足${R_1} < {R_2} < {R_3}$，文中对上述参数的选取为：

（2）使用Canny算法中的后3步(计算梯度幅度和方向、根据角度对幅值进行非极大值抑制、阈值算法检测和连接边缘)分别计算B₁、B₂和B₃在不同尺度下的边缘二值图像E_D1、E_D2和E_D3，再通过公式(9)做形态学滤波处理，提取出了不同尺度下的边缘区域。

式中：C为形态学滤波的结构元素，文中选取的是矩形结构，尺寸与导向滤波中的窗口一致；$ \oplus $表示膨胀运算。

（3）将上述三个不同尺度的边缘区域二值图像进行“并”运算，得到整合后的边缘区域E_D，即：

图2给出了使用多尺度Canny边缘区域提取和单尺度Canny边缘区域提取的效果对比。图2中(a)、(b)分别为低分辨深度像和高分辨灰度像；(c)为使用单尺度Canny算子提取边缘后经膨胀滤波得到的边缘区域；(d)是使用文中多分辨的Canny算子提取的边缘区域，可以看出使用多尺度Canny提取的边缘区域更加光滑细节损失较少；(e)、(g)分别为高分辨灰度像的边缘在多尺度与单尺度Canny提取的边缘区域中的情况(红色为灰度像边缘)，可以看出单尺度提取的边缘区域存在与灰度像边缘不相交的情况，不利于公共边缘区域的提取，从局部放大图(g)、(h)中可以更明显地看出。

Figure 2.  Multi-scale and single-scale edge region extraction comparison

经上述计算，得到了可靠的深度像边缘区域，因同场景下灰度像边缘与深度像边缘位置存在相关性，据此在深度像边缘区域内寻找灰度像边缘，若存在将此区域作为公共边缘区域。

首先用Canny算子对同场景的灰度图像进行边缘提，获得灰度像边缘信息E_I，通过公式(11)获得深度像边缘区域中的灰度像边缘C_DI，

式中：j为二值图像中的索引值。

然后使用迭代膨胀滤波算法提取出公共边缘区域，具体算法如下：

（1）对C_DI二值图像使用3×3的结构窗口G进行膨胀滤波，得到$C_{CI}^{'}$：

（2）计算二值图像$C_{CI}^{'}$和E_D相交的边缘区域Ω：

然后统计二值图像Ω与E_D不一致的像素点个数M；

（3）对$C_{CI}^{'}$重复1,2步骤，并记录每次的不一致像素点M_i设阈值p，若满足公式(14)则停止迭代过程，

式中：i为迭代次数，文中选总像素点数量的1%作为阈值p，此时区域Ω即为公共边缘区域。

对初始上采样深度像中属于区域Ω的的像素点使用导向滤波重建，设j点处的输出值为：

传统导向滤波对式中的线性参数${\hat a_k}$、${\hat b_k}$是由滤波窗口中所有邻域参数$({a_k},{b_k})$取均值得到。为了进一步减少深度像的边缘模糊现象，文中提出的基于边缘区域约束的导向滤波对邻域$({a_k},{b_k})$的权重值是根据当前像素点与灰度图像边缘之间的位置关系重新获得的。通常深度图像上位于边缘一侧的局部区域在空间中从属于同一平面，而且相较同场景的高分辨灰度像，其边缘位置更加准确，因此应当增加与当前点属于一侧邻域参数的权重，抑制不同侧的参数。

如图3所示，导向滤波器窗口大小R以3×3为例，在求Ω区域(绿色)中像素点j处的导向滤波线性参数${\hat a_k}$、${\hat b_k}$时，将j、Ω和灰度像边缘(红色)三者的位置关系分为以下三种情况：

Figure 3.  Illustration of calculating parameters of edge constraint guided filtering

（1）如图3（a）所示，中心像素点j不在灰度像边缘上，邻域像素也不包含灰度像边缘，则此时$\hat a(j)$、${\rm{ }}\widehat b(j)$参数直接由像素点j处的窗口W_i内的a_i和b_i的平均值获得：

式中：W为窗口内的像素点个数。

（2）中心像素j不在灰度像边缘上，但是邻域像素包含灰度像边缘，如图3(b)所示，此时计算j像素点的深度值时，根据以下步骤生成邻域掩码，对掩码值为“1”的处的像素点求和并取均值得到$\hat a(j)$、${\rm{ }}\widehat b(j)$，窗口内的掩码${p_k}$生成步骤如下：

步骤一：从窗口中心j开始，用弗雷曼编码方式对8邻域进行搜索并进行标记，当在编码为奇数处时如果包含灰度像边缘则标记为“0”否则为“1”，如公式(16)；当在编码为偶数处时如果包含灰度像边缘或者两侧邻域包含灰度像边缘则标记为“0”否则为“1”，如公式(17)所示：

步骤二：若窗口大小R>3，对上一步标记为“1”的像素点重新作为中心点循环执行步骤一，循环次数k由窗口尺寸决定：

步骤三：标记完成后，中心像素点j的线性参数为${\hat a_j}$与${\widehat b_j}$为：

式中：i_n是以j为中心的8邻域像素；M表示窗口中中掩码为“1”的个数。

（3）中心像素点在灰度像边缘上，如图3(c)所示，此时使用灰度像在窗口内的灰度值相似度函数来计算权值，j像素点的线性参数定义如下：

式中：${w_p}$为归一化参数。

式中：$g$为高分辨率灰度像的灰度值相似度高斯函数：

式中：${\sigma _r}$为高斯函数的平滑参数。

根据上述理论所述，整个算法的流程伪代码如下：

Algorithm 1 Edge constraint guided filtering

Input: D_L:low resolution depth map; I:gray image; R：window size of guide filter ε: regularization paramater of guide filter; ${\sigma _r}$ paramater of grayscale similarity.

Output:D^H: high resolution depth map.

1: Compute initial high resolution depth map D^↑ by bilinear interpolation.

2: Apply multiscale Canny detector on D^↑ obtain E_D by { Eq.(7)~(10)}

3: Compute C_DI by {Eq.(11)~ Eq.(14)} and extract common edge area Ω.

4: Compute paramater ${a_k}$,${b_k}$ {Eq.(1)~(5)}

//////////Edge region constraint oriented filtering///////////

5: for (i=1;i≤imgheight;i++) begin

6:　for(j=1;j≤imgwight;j++) begin

7:　　if(D^↑(i,j) $ \in $Ω && neighbors pixel $\notin $ C_DI)

8:　　Compute ${\hat a_k}$、${\hat b_k}$ by {Eq.(16)}

9:　　Comput D^H (i,j) by{Eq.(15)}

10:　else if(D^↑(i,j) $ \in $Ω && neighbors pixel $ \in $ C_DI)

11:　　Compute ${\hat a_k}$、${\hat b_k}$ by {Eq.(17)~(21)}

12:　　Comput D^H (i,j) by{Eq.(15)}

13:　else if(D^↑(i,j) $ \in $Ω && D^↑(i,j) $ \in $ C_DI)

14:　　Compute ${\hat a_k}$、${\hat b_k}$ by {Eq.(22)~(25)}

15:　　Comput D^H (i,j) by{Eq.(15)}

16:　else

17:　　D^H (i,j) = D^↑(i,j)

18:　end

19: end

为了验证文中方法的有效性，文中在MATLAB2017a软件下进行实验验证，测试环境为：内存12 g，Inter CPU i5-5200u，操作系统windows7 64位系统。实验用国际上公认的标准Middlebury数据集来进行，对数据集中彩色图像进行灰度化处理，并将灰度像与深度像的分辨率统一变换为360×400，灰度像与深度像均采用8 bit量化，量化范围0~255。首先，对数据集中的原始高分辨灰度像进行4×与16×下采样来模拟低分辨的深度像(低分辨深度像尺寸为180×200, 90×100)；然后选择了双三次插值(BI)、基于导向滤波算法^[18]、基于联合双边上采样（JBU）算法^[14]和基于三边滤波算法^[16、21]与文中方法在重建效果与实时性上进行对比。选用峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和参考文献[23]所建议的坏点率(Bad Pixel，BP)两个指标来评价算法的重建性能，从而定量评价重建后的结果。其中PSNR定义如下：

式中：m、n是图像大小；BP是通过计算超分辨重进后的深度图像和原始深度图像之间深度绝对差值大于1的像素点数目占整幅图像的比例获取。

实验中的算法参数如下：初步上采样的深度像和高分辨的灰度图像使用Canny算子进行边缘提取；边缘二值图E_D使用3×3大小的窗口进行膨胀处理；导向滤波的正则化参数$\varepsilon $为0.001，窗口大小5×5，灰度值相似度函数参数${\sigma _r}$=2，对比算法均采用参考文献中的推荐参数。

图4与图5是以Middlebury数据集中的reindeer、Teddy和Bowling三个数据为例，使用原始深度像的4×与16×下采样图像进行超分辨重建。为了更清晰地看出重建后的深度像细节，截取了图像的局部区域进行放大。图中：(a)是原始的高分辨深度图像；(b)局部窗口所对应的灰度图像；(c)局部窗口所对应的深度图像；(d)~(h)分别为双三次插值(BI)、参考文献[18]、[14]、[16]和[21]对低分辨深度像的重建结果；(i)为文中方法所得到的结果。

Figure 4.  Super-resolution reconstruction of local display results of 4×

Figure 5.  Super-resolution reconstruction of local display results of 16×

从图4与图5的实验比较结果可以看出：仅使用BI插值算法对深度像进行上采样，深度像的边缘模糊情况会随着上采样倍数的增加而增加；图中(e)为参考文献[18]使用导向滤波算法重建的结果，出现的纹理复制的情况在16×重建时纹理复制现象更加明显；图中(f)为参考文献[14]得到的结果，算法采用绝对平均差(Mean Absolute Difference，MAD)找出边缘纹理一致的像素点，然后使用双边滤波器对插值后的深度像进行重建，然而此方法没有考虑边缘错位的问题，容易出现边缘一致点定位错误，因此会出现边缘模糊的情况，特别在16×重建时现象较为明显；图中(g)、(h)分别为参考文献[16]、[21]的重建结果，两种算法过程类似(边缘提取方法不同)使用的是基于联合三边滤波算法并通过迭代的方式逐步优化插值数据，因此细节还原较好，在4×与16×重建时均能较好的还原深度边缘特征；图中(i)为文中算法得到的结果，由于文中算法对导向滤波器参数根据灰度像边缘位置关系重新加权获得，而且使用多尺度Canny得到了较为准确的深度像边缘，因此相较BI插值、参考文献[18]、[14]深度像边缘明显清晰重建质量较好，与参考文献[16]、[21]效果相当。

表1与表2进一步给出了重建结果的定量分析，使用Middlebury数据集中的8幅深度像进行测试，对比了5种方法的PSNR与BP值。在4×超分辨重建时各对比算法与文中算法的PSNR平均值为39.23 dB、39.49 dB、40.16 dB、40.79 dB、40.69 dB和40.93 dB，BP平均值为5.50%、5.28%、4.71%、4.17%、4.22%和3.98%，从指标上可以看出文中方法具有更好的重建质量。在16×超分辨重建时，参考文献[16]、[21]和文中算法均获得了较好的结果，PSNR均值分别为37.90、37.72和37.76，BP均值分别为6.52%、6.63%和6.61%，从指标上看三者差异不大，而相比于其他算法在重建质量上均有明显提高。实验中发现对数据集里的Dolls和Rocks2进行重建时不论是参考文献方法还是文中方法对重建质量的提升并不明显，主要原因是：在纹理复杂的条件下，使用基于滤波的方法对深度像进行超分辨重建时高分辨的可见光图像中的边缘特征与深度像中的边缘特征一致性变差，从而限制了算法的性能。对于文中算法来说，如果出现上述情况算法提取公共边缘变少重建后的深度像的像素值主要由初始插值数据代替，因此试验结果与BI插值接近。

表3给出了各算法对表1和表2中8组实验数据的平均执行时间，分别为8.02 s、0.19 s、1.84 s、7.5 s和0.32 s。文中在导向滤波算法的基础上引入了公共边缘区域约束因此较参考文献[18]的平均运行时间长出0.13 s。与参考文献[14]、[16]和[21]相比，文中算法在运行速度上有明显优势分别提高了5.75倍、23.4和25.06倍。

因此，综合考虑超分辨重建对数据质量和计算复杂度之间的关系，文中提出的算法比对比算法具有更好的性能，适合运用在对实时性要求较高的场景。

窗口大小R是导向滤波中的敏感参数，表4给出了文中算法不同窗口大小对超分辨重建的影响。

表中对两组4×和16×超分辨重建结果使用BP值作为评价标准，结果表明：当用较大或较小的窗口时，文中算法的有效性均有所降低，因此文中选择5×5作为窗口大小。

为了进一步理解文中算法中的边缘约束在导向滤波超分辨重建中的作用，对比了没有将公共边缘区域中的像素点与灰度图像边缘之间的位置关系作为计算权重的依据，而是直接由均值决定的两种实验对比，结果见表5。

表5以数据集中Baby为例可以看出，文中算法所得到的图像质量高于用均值作为权重时的重建质量，进一步验证了该算法的有效性。

文中针对低分辨的深度像，在导向滤波的基础上提出了一种基于边缘约束导向滤波的深度图像超分辨率重建算法。通过实验对比表明：

(1)所提方法在原有导向滤波的基础上，引入了深度像与灰度像的公共边缘特征来约束导向滤波的过程，有效地解决了导向滤波在超分辨重建过程中的纹理复制与边缘模糊的现象。

(2)与基于多边联合滤波的重建算法相比基于导向滤波的超分辨重建算法计算效率显著，可以为自动驾驶、目标探测等需要高实时性的应用环境提供可靠数据。

(3)在使用基于滤波的方法并利用同场景的高分辨彩色图像或者灰度图像对低分辨的深度像进行超分辨重建时,如果深度像或者灰度像中的纹理过于丰富会抑制算法性能，因此对复杂纹理边缘情况下的深度像超分辨重建还需进一步研究。

(4)文中主要针对面阵TOF相机所得到的深度像进行处理，然而在远距离探测时线阵激光雷达运用较多，因此对线阵激光雷达进行超分辨重建本算法还需进一步优化。