-
狭窄场景的高精度三维重建对于逆向工程具有重要的研究意义和应用价值，比如口腔内牙齿的高精度建模或机械内部结构三维测量、损伤识别等[1-3]。目前针对狭窄场景的三维重建研究大多针对的是单视角重建，尽管先进的设备能够在单视角下获取物体或场景的高精度表面信息，但在多视角配准后获得完整的高精度三维信息仍然是一项具有挑战性的任务。
根据点云配准的数量可以将点云配准分为成对点云配准和多视角点云配准。成对点云配准算法主要有基于迭代的ICP方法及其变种[4-7]和基于特征的方法[8-10]。经典ICP算法[4]原理简单，易于实现，但求解容易陷入局部最小值，因此，许多学者对经典ICP算法做出了改进。Rusinkiewicz[7]提出了点到面的ICP算法，考虑了点云的局部结构，精度更高，收敛得更快，但仍存在局部最优问题。Segal[5]提出了面到面的ICP算法，使得算法中的最大距离参数设置敏感度降低，对错误匹配更加鲁棒，但较大的对应距离参数设置会导致计算量的增加，降低了计算的效率。由于配准精度高，ICP算法及其变种是目前应用与研究较多的课题，而另一种研究较多的方法是基于特征的方法。基于特征的点云配准思想是通过对点云进行特征描述与匹配来完成配准，因此对点云初始位姿并不敏感，但需要独立特征。Rusu[11]等人提出了基于快速特征点直方图(FPFH)的成对点云配准方法，通过特征点的领域构建一个与点云位姿无关的快速特征点直方图并匹配，该方法效率较高。Zhao[12]等人提出了一种局部DLFS描述子，该描述子具有较高的描述性并且对于多种噪声环境都有较好的鲁棒性。基于特征的配准方法相对基于迭代的方法来说鲁棒性更高，但精度较低，因此常作为粗配准方法，而基于迭代的ICP方法因为精度较高，常作为精配准方法。
常见的多视角点云配准方法主要为基于成对点云配准的增量式方法[13-15]。基于成对点云配准的增量式多视角点云配准方法的核心就是不断地配准相邻视角的点云并转换到统一的世界坐标系下。Newcombe [13]等人提出了Kinect Fusion算法，通过ICP算法进行增量式配准，在配准结果准确的情况下，具有良好的实时重建效果，但当重建的时间过长或者ICP算法失效时该算法会出现漂移问题甚至失效。Whelan [14] 等人提出了Kintinuous算法，利用位姿图和回环检测来解决漂移误差，但由于内存消耗过大，在重建大场景的三维模型时仍存在问题。Choi[15]等人利用全局注册进行回环检测来消除漂移误差并取得了不错的结果，但由于要对所有视角都进行回环检测，该算法效率较低。
狭窄场景的多视角点云通常是利用小型扫描仪连续采集得到的，因此含有以下特点：(1) 单视角点云数据较少，信息少；(2) 视角数量多；(3) 相邻视角点云初始位姿有好有坏。因此，针对狭窄场景的多视角点云数据，文中提出了一种基于位姿优化的增量式多视角点云配准方法。首先，文中提出了一种多策略融合的成对点云配准算法，先利用ICP类算法配准初始位姿较好的相邻视角点云，若ICP类算法失效，再利用基于FPFH特征的方法进行配准。然后在此基础上，文中提出了一种基于距离约束的回环检测方法，通过距离剔除不可能存在回环的视角，并利用回环检测结果构建位姿图。最后，对位姿图进行实时优化，消除累计误差，达到高效高精度的鲁棒多视角配准。
-
以口腔内狭窄场景牙齿的三维重建为例，假定采集的点云集合为
$P = \{ {P_i}\} (i = 0,1,2,\cdots ,n)$ ，文中提出的多视角点云配准算法流程图如图1所示，主要分为三个步骤：(1)利用多策略融合配准算法进行相邻视角点云配准；(2)基于距离约束的回环检测；(3)实时位姿图优化。下面将分别对三个步骤进行详细介绍。
图 1 文中算法流程图
Figure 1. Flow chart of proposed algorithm
-
针对传统点云配准算法在应用时存在的鲁棒性较差和效率较低的问题，在ICP类算法和基于FPFH的配准算法基础上，文中提出一种全新的融合ICP算法和基于FPFH算法的成对点云配准算法。该算法解决了在初始位姿较差时ICP算法失效和在点云特征不明显时基于特征的方法失效的问题。
文中提出的多策略融合点云配准算法 (Multi-strategy Registration Algorithm，MRA) 主要包括三个阶段：(1) ICP算法；(2) 粗到精的ICP算法；(3) 基于FPFH的配准算法。其配准流程如图2所示。
图 2 多策略融合配准算法流程图
Figure 2. Flow chart of multi-strategy registration algorithm
-
经典ICP算法[4]通过最小化含有源点云和目标点云间匹配对应关系的目标方程来迭代优化源点云与目标点云之间的刚性变换矩阵直至收敛，实现点云配准。针对狭窄场景下初始位姿较好的相邻视角点云，经典ICP算法能快速地获得待配准点云间的变换关系，但为了达到更快的收敛速度和更好的鲁棒性，文中采用点到面的方式[7]构造目标函数：
$$ {E}({T}) = {\displaystyle \sum\limits_{p,q \in \kappa } {((p - {T}q) \times {n_p})} ^2} $$ (1) 式中：
$ p $ 为目标顶点；$ q $ 为源顶点；$ {n_p} $ 为$ p $ 的法向量。 -
粗到精的ICP算法会进行两次点到面的ICP算法，粗ICP算法和精ICP算法。粗ICP算法采用更大的距离度量来确定点与点之间的对应关系，其对点云初始位姿的敏感性更低，更易获得一个较好的初始变换。粗ICP算法的配准结果会作为精ICP算法的初始位姿。
-
基于FPFH的配准算法主要有以下三个步骤，假定待配准点云为
$P$ 和$Q$ ，具体步骤如下。(1) 计算
$P$ 和$Q$ 的法向量和FPFH描述子；(2) 从
$P$ 中随机选择n个点，通过查询$P$ 的FPFH特征空间的最近邻点可以检测到选择点在$Q$ 中的对应点，建立对应关系后，计算刚体变换矩阵并验证对应关系是否正确，若正确，则保留计算结果，否则将错误点对剔除后，重复RANSAC迭代步骤，直至超过设置的收敛条件，返回计算结果中误差最小的结果；(3) 将第二步得到变换作为初始位姿，进行点到面的ICP配准。
-
多策略融合点云配准算法采用上述三种策略逐层进行配准和筛选，假定目标点云为
$P$ ，源点云为$Q$ ，具体步骤如下。(1) 采用1.1.1节中的ICP算法配准
$P$ 和$Q$ 并评价配准结果，评价指标为：$$ \left\{ {\begin{array}{*{20}{l}} {Fitness = {N_i}/{N_{i + 1}}{\text{ }}} \\ {Rmse = \sqrt {\dfrac{1}{m}\displaystyle \sum\limits_{i = 1}^m {{{(T \cdot {q_i} - {p_i})}^2}} } } \end{array}} \right. $$ (2) 式中：
${N_i}$ 表示源点云对应点数量；${N_{i + 1}}$ 表示目标点云数量；$T$ 表示变换矩阵；${q_i}$ 表示源点云顶点；${p_i}$ 表示目标点云顶点；$m$ 表示对应点数量。若配准结果满足评价指标 (文中$ Fitness = 0.5 $ ，$ Rmse = 0.2 $ )，则认为配准成功，退出配准。(2) 采用1.1.2节的粗到精ICP算法配准
$P$ 和$Q$ 并评价配准结果，若满足要求则退出配准。(3) 采用1.1.3节的基于FPFH的配准算法配准
$P$ 和$Q$ 并评价配准结果，若满足要求则退出配准，若不满足要求则选取三个步骤中的最优结果作为配准结果。 -
通过配准相邻视角的点云，多视角的点云可以增量式地转换到同一世界坐标系下，但该方法存在漂移累计误差，为了解决增量式配准的漂移问题，文中提出了基于距离筛选的回环检测方法。
回环检测的核心问题是检测当前视角的点云与之前视角的点云是否存在交集，基于距离筛选的回环检测的核心思想是存在回环的两个视角的点云的重心距离较不存在回环的两个视角的点云重心距离更近，因此，在回环检测之前，文中首先通过距离条件剔除掉与当前视角不存在回环可能的点云，然后再通过1.1节提出的多策略融合配准算法进行回环检测，假定多视角点云集合为
$P = \{ {P_i}\} (i = 0,1,2,\cdots ,n)$ ，当前视角点云为$ {P_j} $ ，具体步骤如下。(1) 利用相邻视角点云配准结果将当前视角点云
$ {P_j} $ 转换到第0个世界坐标系下，具体公式为：$$ {P_j}^\prime = \prod\limits_{i = 1}^j {T_i^{i - 1}} {P_j} $$ (3) 式中：
$ T_j^{j - 1} $ 为利用MRA计算的相邻视角点云的配准结果；$ {P_j}^\prime $ 为转换后的当前视角的点云。(2) 利用下式计算转换后的当前视角点云
$ {P_j}^\prime $ 与之前视角的点云$P = \{ {P_i}\} (i = 0,1, \cdots ,j - 1)$ 的重心距离。$$ Dist=\sqrt{{\left(\frac{1}{n}{\displaystyle \sum _{i=1}^{n}{{P}^{\prime }}_{i}}-\frac{1}{m}{\displaystyle \sum _{j=1}^{m}{{P}^{\prime }}_{j}}\right)}^{2}}$$ (4) 式中：
$ {P_i}^\prime $ 为转换后的第$ i $ 个视角点云；$ n $ 为$ {P_i}^\prime $ 的点云点数；$ m $ 为$ {P_j}^\prime $ 的点云点数。(3) 若重心距离
$ Dist $ 满足设定阈值要求，则证明$ {P_i}^\prime $ 与$ {P_j}^\prime $ 存在回环的可能，后采用MRA算法对$ {P_i}^\prime $ 与$ {P_j}^\prime $ 进行配准并评价配准结果，若配准结果满足要求则证明存在回环。在回环检测配准前，$ {P_i}^\prime $ 与$ {P_j}^\prime $ 的初始位姿可通过下式计算，其中$ T_n^{n - 1} $ 为点云$ {P_n} $ ~点云$ {P_{n - 1}} $ 的变换矩阵。$$ {T_{initial}} = \prod\limits_{n = i + 1}^{j + 1} {T_n^{n - 1}} $$ (5) 按照上述方法，可在当前视角点云与之前视角点云之间建立回环关系。回环检测是解决漂移问题的关键，文中提出的基于距离约束的回环检测算法可以快速定位到存在回环可能的视角点云并利用提出的MRA算法进行配准回环检测，提高了回环检测的效率和鲁棒性。
-
位姿图主要由顶点和边构成，其中边又分为直接边和回环边。顶点代表相机在世界坐标系下的位姿，直接边代表相邻视角的相机的位姿变换关系，回环边代表非相邻视角间的相机位姿的变换关系，其结构如图3所示，其中
$X = \left\{ {{X_i}} \right\}(i = 0,1 ,\cdots ,6)$ 表示相机的顶点位姿，$ {X_0} $ 与$ {X_6} $ 连接边、$ {X_2} $ 与$ {X_5} $ 连接边为回环边，其余为直接边。利用相邻视角点云配准结果和基于距离筛选的回环检测结果可以构建出多视角点云的位姿图。
图 3 位姿图结构图
Figure 3. Structure of pose graph
位姿图的优化问题可以总结为计算处所有视角在同一世界坐标系下的最佳位姿，其目标函数为：
$$ E(T) = \displaystyle \sum\limits_i {f({X_i},{X_{i + 1}},T_{i + 1}^i)} + \displaystyle \sum\limits_{i,j} {{l_{ij}}f({X_i},{X_j},T_j^i) + } \displaystyle \sum\limits_{i,j} {\sqrt {1 - {l_{ij}}^2} } $$ (6) 式中：
$ f $ 函数表示变换后两视角中对应点的距离平方之和；$ {l_{ij}} $ 表示回环边的准确度，其值在[0,1]内，当$ {l_{ij}} $ 大于设定的阈值 (文中为0.25)时，认为连接$ {X_i} $ 和$ {X_j} $ 的回环边是正确的；$ \sqrt {1 - {l_{ij}}^2} $ 项的存在是为了尽可能保留正确的回环边。构建好位姿图后，位姿图的优化是一个非线性优化问题，文中采用列文伯格-马夸尔特(LM)算法进行优化。参考文献[15]在构建好所有多视角点云的位姿图后再进行优化，该方法在点云视角数量过多时效率很低，且当存在错误的回环边时会失效。而文中采取实时优化策略，即当位姿图中新添加的顶点和回环边达到一定数量时就进行位姿优化，及时消除累计误差，并将优化后的位姿图作为更新的基础继续进行多视角点云的配准。经过实验的验证，实时优化的策略会提升整体算法的稳定性与精度。 -
为了方便精度对比，文中以牙齿模型为主要研究对象，利用自制的结构光测量设备完成多视角牙齿模型点云的采集，设备的主要结构示意图如图4所示。
图 4 结构光测量设备示意图。(a) 高速投影仪；(b)、(c) 工业相机；(d) 扫描头
Figure 4. Diagram of structured light measuring equipment. (a) High-speed projectors；(b), (c) Industrial camera；(d) Scanning head
在狭窄场景下为了方便测量，设计的设备探头较小，整个测量过程需要手持设备对待测物体来回扫描，利用高速投影仪和高速相机不断投射编码图片并采集待测物体照片获取完整的多视角图片，最后对采集的图片进行解码重建以获得多视角点云数据。图5(a)为待测的牙齿模型，经过多次尝试，文中设计了如图5(b)所示的测量路径，该路径保证了测量过程中存在回环，便于进行多视角配准的工作。文中在测量实验中共获得450个视角点云，并对采集到450个视角点云进行相邻视角点云配准实验与多视角点云配准实验。所有实验都是在一台配备2.6 GHz CPU （Intel i7-9750H）、16 GB RAM和Windows 10操作系统的笔记本电脑上进行的。所有算法用Python语言结合点云库(Open3d)实现并在单线程中运行。
图 5 牙齿模型数据集。(a) 完整模型及四个单视角点云；(b) 扫描路径
Figure 5. Tooth model data. (a) Complete model and four single-perspective point cloud; (b) Scanning path
-
此节对采集的450个点云分别进行相邻视角的配准实验，对比了传统ICP算法[4]、Generalized ICP算法[5]、基于FPFH特征的算法[15]和文中提出的多策略融合点云配准(MRA)算法。对于配准结果，采用公式(2)进行评估，若配准结果未满足设定阈值，则认为配准失败，将
$ Fitness $ 置为0，$ Rmse $ 置为1。取450次相邻视角配准实验的平均值为实验结果，如表1所示。表 1 相邻视角点云配准实验结果
Table 1. Experimental results of adjacent point cloud registration
根据表中数据进行整体分析可知，对于鲁棒性来说，ICP算法、Generalized ICP算法和基于FPFH特征的配准方法存在配准失败的情况，而文中提出算法在450组相邻视角配准实验中失败次数为0，具有更好的鲁棒性。对于运行速度来说，文中提出算法的运行速度与ICP算法相近，且快于Generalized ICP算法和基于FPFH特征的配准方法。对于配准误差来说，文中提出算法与基于FPFH特征的配准方法的平均误差是四种算法中最低的，这表明文中提出算法具备较好的配准精度。综合考虑鲁棒性、运行速度和配准精度，文中提出算法在研究场景下具有更好的配准性能。
为了进一步分析实验结果，此节取了两组具有代表性的相邻视角点云配准实验进行详细比较分析，图6为两组配准实验的结果，其中虚线框代表正确配准。表2为四种方法在视角37和38的配准实验中的精度和重叠度对比，表3为四种方法在视角210和211的配准中的精度和重叠度对比。图7为配准实验中四种算法的配准收敛曲线，为了方便比较，文中将基于FPFH特征的方法配准后的误差也在图中表示出来。
图 6 相邻视角点云配准实验结果对比图。其中：(1) ICP；(2) Generalized ICP；(3) 基于FPFH特征的算法；(4) MRA
Figure 6. Result comparison of adjacent point cloud registration. (1) ICP; (2) Generalized ICP; (3) FPFH-based method; (4) MRA
表 2 相邻点云配准实验结果(视角37和视角38)
Table 2. Experimental results of adjacent point cloud registration (View 37 & View 38)
表 3 相邻点云配准实验结果(视角210和视角211)
Table 3. Experimental results of adjacent point cloud registration (View 210 & View 211)
图 7 四种算法配准收敛曲线图。(a) 视角37和38；(b) 视角210和211
Figure 7. Convergence curves of four algorithms. (a) View 37 and 38; (b) View 210 and 211
视角37和38代表的是多视角点云中相邻视角初始位姿较差的情况，从图7(a)可以看出，在迭代45次后，ICP算法与Generalized ICP算法已经趋于收敛，但结合图6(a)和表2可发现，配准模型未对齐，配准误差较大，这表明两种算法收敛至局部最优解，在初始位姿较差时容易配准失败。而在这种情况下，基于FPFH特征的配准方法和文中提出的算法能够利用点云特征进行配准，避免配准陷入局部最优解，较ICP类算法配准误差降低40.9%，保证了配准的稳定性和精度。
从图6(b)可以看出，视角210和211的点云存在部分缺失且特征较少，这在实际测量中经常出现，因此视角210和211代表的是多视角点云中相邻点云初始位姿较好而点云特征不明显的情况，从图7(b)可以看出，ICP算法在迭代40次后收敛，Generalized ICP算法在迭代5次后收敛，结合图6(b)和表2可发现，这两种算法配准成功且配准精度较高，而文中提出的算法与之保持了一致的配准精度和速度，配准误差较基于FPFH特征的方法降低27%，而基于FPFH特征的方法由于配准点云特征不明显而导致配准误差较大，配准结果可靠性降低。
为了更直观地对比出几种方法的整体效果，文中将450个视角点云通过公式(3)转换到同一世界坐标系下进行比较，结果如图8所示。从图8可以看出，ICP算法、Generalized ICP算法和基于FPFH特征的方法由于部分配准结果错误从而导致模型出现了明显的错误对齐现象，而利用文中提出的算法配准转换后的模型误差较小，模型的未对齐是由多视角转换的漂累计误差造成的，这进一步表明文中提出算法的可靠性。
图 8 相邻视角点云配准实验整体结果对比。(a) ICP；(b) Generalized ICP；(c) 基于FPFH特征的算法；(d) MRA
Figure 8. Comparison of overall results of adjacent point cloud registration. (a) ICP; (b) Generalized ICP; (c) FPFH-based method; (d) MRA
-
此节对采集的450个视角的牙齿模型点云进行多视角点云配准实验，将所提出的多视角配准方法与参考文献[15]中的方法进行比较，具体实验参数如表4所示。为了验证算法的稳定性，每组实验重复10次，取平均值作为最终结果。
表 4 多视角点云配准实验参数表
Table 4. Parameter of multi-view point cloud registration experiment
Registration method Distance constraints Real-time optimization Loop closure detection method Ref.[15] method Ο Ο FPFH-based method Proposed method Π Π MRA 多视角点云配准实验结果如表5和图9所示，从结果可以看出，文中提出的多视角点云配准算法成功消除了漂移累计误差，且配准效率极高。
表 5 多视角点云配准实验结果
Table 5. Results of multi-view point cloud registration experiment
Registration method Drift alleviated Time/s Ref.[15] method Ο 174.015 Proposed method Π 12.375 
为了进一步分析，此节统计了三组回环检测的结果以及两种方法的位姿图结构，结果如图10和表6所示。结果显示，参考文献[15]中的方法具有更多的回环约束，但由于其中存在大量错误的约束(如图10所示)，所以在优化后仍然失效。而文中提出的多视角配准方法采用了实时优化策略，为回环检测提供了良好的初始位姿，提高了回环检测的质量。同时，由于采用距离约束进行筛选，剔除了不可能存在回环的视角，提高了回环检测的效率，进而提高了整体算法的效率。
图 10 回环检测结果对比图。(a) 视角132和192；(b) 视角96和244；(c) 视角96和252
Figure 10. Comparison of loop closure detection results. (a) View 132 and 192; (b) View 96 and 244; (c) View 96 and 252
表 6 两种方法位姿图结构
Table 6. Structure of two methods’ pose graph
Registration method Vertices Odometry edges Loop closure edges Ref.[15] method 450 449 1138 Proposed method 450 449 335 由于对比方法[15]失效，为了验证文中提出的多视角配准算法的精度，文中利用高精度桌面扫描仪获取了牙齿模型的精确模型，并将文中算法配准得到的完整模型与精确模型进行对比。使用Geomagic studio 12进行偏差分析的结果如图11所示。其中，配准模型与精确模型的平均距离为0.0357 mm，标准偏差为0.0348 mm，这表明配准后模型精度与高精度扫描仪的精度基本一致，而这证明文中提出的多视角配准算法误差较低，具有较高的多视角配准精度。
图 11 偏差分析结果图
Figure 11. Deviation analysis results
-
为了验证文中算法的普适性，采用自制结构光设备对多个狭窄场景下的物体进行了多视角测量，并用文中算法进行了多视角配准。测量物体和配准结果如图12所示。其中，第一行为完整待测模型及四个单视角点云，第二行为文中算法配准的多视角点云模型。结果证明了文中算法的有效性。
图 12 其他模型及多视角点云配准结果图。四种物体的尺寸：(a) 50 mm
$ \times $ 70 mm；(b) 53 mm$ \times $ 75 mm：(c) 63 mm$ \times $ 60 mm；(d) 50 mm$ \times $ 50 mmFigure 12. Other models and multi-view point cloud registration results. The size of the four objects : (a) 50 mm
$ \times $ 70 mm; (b) 53 mm$ \times $ 75 mm; (c) 63 mm$ \times $ 60 mm; (d) 50 mm$ \times $ 50 mm -
针对连续采集的狭窄场景多视角点云，文中提出一种基于位姿图优化的增量式多视角点云配准方法。首先提出一种基于ICP算法和FPFH特征的多策略融合配准算法，利用该算法进行相邻视角点云的增量式配准；然后在此基础上，提出一种基于距离筛选的回环检测算法，在进行回环检测时加入距离约束，剔除不可能存在回环的视角，利用回环检测的结果构建多视角点云的位姿图；最后采用实时位姿图优化策略，在位姿图中新增约束满足条件时进行优化，及时消除漂移累计误差并将优化的结果作为更新的基础继续进行多视角配准，直至所有的视角配准完成。实验结果表明，提出的多策略融合配准算法在配准成对牙齿模型点云时较传统的ICP算法鲁棒性得到提升，较基于FPFH特征的算法效率更高。而与现有方法相比，在配准牙齿模型点云时，文中提出的多视角点云配准方法耗时更低，鲁棒性更高，配准的模型精度可达0.0357 mm，这表明所提出的多视角配准方法是一种鲁棒、高效、精度较好的方法。
Robust multi-view registration method for narrow scenes
-
摘要: 多视角点云配准是逆向工程中的关键步骤之一，具有重要的研究意义和工程应用价值。而对于狭窄场景(如口腔或机械结构内部)获取的点云数据，多视角配准算法的精度直接影响重建精度的好坏。为了提升狭窄场景多视角点云配准的速度和鲁棒性，提出一种基于位姿图优化的增量式多视角点云配准方法。首先针对相邻视角的点云，结合迭代最近点法(ICP)和基于特征的配准方法，提出一种多策略融合的成对点云配准算法，用于求解相邻视角点云的配准结果；然后在增量式相邻视角点云配准的基础上，进一步提出一种基于距离约束的回环检测方法，并依据相邻视角点云的配准结果和回环检测的结果构建位姿图；最后采用实时优化策略对位姿图进行优化，消除累计误差，实现鲁棒的多视角配准。实验结果表明，提出的多策略融合配准算法和基于距离约束的回环检测方法是有效的。经典ICP算法和基于FPFH特征的配准算法在实验中存在失效的现象，而提出的多策略融合配准算法并无失效。基于距离筛选的回环检测方法较常规的回环检测方法效率提高。提出的多视角配准算法在配准牙齿模型数据时精度可达到0.0357 mm。为了验证算法的普适性，采用多个狭窄场景下连续采集的模型点云进行验证，结果表明：提出的算法取得了不错的效果，表明该方法是一种有效的狭窄场景多视角配准方法。Abstract: Multi-view point cloud registration is one of the key steps in reverse engineering, which has important research significance and engineering application value. As for point cloud data obtained from narrow scenes (such as oral cavity or mechanical structure), the accuracy of the multi-view registration algorithm directly affects the accuracy of the reconstructed results. In order to improve the speed and robustness of multi-view registration for narrow scenes, an incremental multi-view point cloud registration method based on pose optimization is proposed. Firstly, a multi-strategy registration algorithm is proposed based on iterative closest point method (ICP) and feature-based registration method to solve the registration of adjacent point clouds. Then, based on the incremental registration of adjacent point clouds, a loop closure detection method based on distance constraints is proposed, and the pose graph is constructed according to the registration results of adjacent point clouds and loop closure detection results. Finally, the real-time optimization strategy is used to optimize the pose graph to alleviate drift errors and achieve robust multi-view registration. Experimental results show that the proposed multi-strategy registration algorithm and the loop closure detection method with distance constraints are effective. The classical ICP algorithm and the FPFH-based method are invalid in the experiment, but the proposed multi-strategy registration algorithm is valid. The loop closure detection method with distance constraints is more efficient than the conventional loop closure detection method. The multi-view registration algorithm proposed in this paper can achieve accuracy of 0.0357 mm in tooth model data registration. In order to verify the universality of the algorithm, the model point clouds collected continuously in multiple narrow scenes are used for verification. The results show that the proposed algorithm achieves good results, which indicates that the proposed method is an effective multi-view registration method for narrow scenes.
-
图 4 结构光测量设备示意图。(a) 高速投影仪；(b)、(c) 工业相机；(d) 扫描头
Figure 4. Diagram of structured light measuring equipment. (a) High-speed projectors；(b), (c) Industrial camera；(d) Scanning head
图 5 牙齿模型数据集。(a) 完整模型及四个单视角点云；(b) 扫描路径
Figure 5. Tooth model data. (a) Complete model and four single-perspective point cloud; (b) Scanning path
图 6 相邻视角点云配准实验结果对比图。其中：(1) ICP；(2) Generalized ICP；(3) 基于FPFH特征的算法；(4) MRA
Figure 6. Result comparison of adjacent point cloud registration. (1) ICP; (2) Generalized ICP; (3) FPFH-based method; (4) MRA
图 7 四种算法配准收敛曲线图。(a) 视角37和38；(b) 视角210和211
Figure 7. Convergence curves of four algorithms. (a) View 37 and 38; (b) View 210 and 211
图 8 相邻视角点云配准实验整体结果对比。(a) ICP；(b) Generalized ICP；(c) 基于FPFH特征的算法；(d) MRA
Figure 8. Comparison of overall results of adjacent point cloud registration. (a) ICP; (b) Generalized ICP; (c) FPFH-based method; (d) MRA
图 10 回环检测结果对比图。(a) 视角132和192；(b) 视角96和244；(c) 视角96和252
Figure 10. Comparison of loop closure detection results. (a) View 132 and 192; (b) View 96 and 244; (c) View 96 and 252
图 12 其他模型及多视角点云配准结果图。四种物体的尺寸：(a) 50 mm
$ \times $ 70 mm；(b) 53 mm$ \times $ 75 mm：(c) 63 mm$ \times $ 60 mm；(d) 50 mm$ \times $ 50 mmFigure 12. Other models and multi-view point cloud registration results. The size of the four objects : (a) 50 mm
$ \times $ 70 mm; (b) 53 mm$ \times $ 75 mm; (c) 63 mm$ \times $ 60 mm; (d) 50 mm$ \times $ 50 mm表 2 相邻点云配准实验结果(视角37和视角38)
Table 2. Experimental results of adjacent point cloud registration (View 37 & View 38)
下载: 导出CSV
表 3 相邻点云配准实验结果(视角210和视角211)
Table 3. Experimental results of adjacent point cloud registration (View 210 & View 211)
下载: 导出CSV
表 4 多视角点云配准实验参数表
Table 4. Parameter of multi-view point cloud registration experiment
Registration method Distance constraints Real-time optimization Loop closure detection method Ref.[15] method Ο Ο FPFH-based method Proposed method Π Π MRA
下载: 导出CSV
-
[1] Guo Junguang. Development of high-precision 3D vision imaging system for narrow spaces[D]. Shenzhen: University of Chinese Academy of Sciences (Shenzhen Advanced Technology Research Institute), 2021. (in Chinese) [2] Lei Doudou. Research on 3D measuring system of denture profile based on line structured light[D]. Xi'an: Xi'an Technological University, 2020. (in Chinese) [3] Wang Lifei. Research on 3D dental model scanning technology based on line structure light[D]. Yangling: Northwest A & F University, 2019. (in Chinese) [4] Besl P J, McKay N D. A method for registration of 3-D shapes [J]. IEEE Trans Pattern Anal Mach Intell, 1992, 14(2): 239-256. doi: 10.1109/34.121791 [5] Segal A , Hhnel D , Thrun S . Generalized-ICP[C]//Robotics: Science and Systems V, June 28- July 1, 2009, University of Washing-ton, Seattle, USA, 2009. [6] Yang J, Li H, Campbell D, et al. Go-ICP: A globally optimal solution to 3D ICP point-set registration [J]. IEEE Transac-tions on Pattern Analysis & Machine Intelligence, 2016, 38(11): 2241-2254. [7] Rusinkiewicz S, Levoy M. Efficient variants of the ICP algorithm [C]//Proceedings Third International Conference on 3-D Digital Imaging and Modeling. Los Alamitos: IEEE Computer Soc, 2001. [8] Zhou Q Y, Park J, Koltun V. Fast global registration[C]//European Conference on Computer Vision, ECCV 2016. Cham: Springer International Publishing, 2016. [9] Yang J, Cao Z, Zhang Q. A fast and robust local descriptor for 3D point cloud registration [J]. Information Sciences, 2016, 346: 163-179. [10] Zeng Xianglei. Research on 3D point cloud registration algorithm based on geometric features[D]. Ji'nan: Shandong University, 2020. (in Chinese) [11] Rusu R B, Blodow N, Beetz M, et al. Fast point feature histograms (FPFH) for 3D registration [C]//2009 IEEE Inter-national Conference on Robotics and Automation, 2009, 1-7: 1848-1853. [12] Zhao B, Xi J. Efficient and accurate 3D modeling based on a novel local feature descriptor [J]. Information Sciences, 2020, 512: 295-314. doi: 10.1016/j.ins.2019.04.020 [13] Newcombe R A, Izadi S, Hilliges O, et al. KinectFusion: Real-time dense surface mapping and tracking [C]//2011 10th IEEE International Symposium on Mixed and Augmented Reality, 2011: 127-136. [14] Whelan T , Kaess M , Fallon M H , et al. Kintinuous : Spatially extended kinect fusion[C]//RSS Workshop on RGB-D: Advanced Reasoning with Depth Cameras, 2012. [15] Choi S, Zhou Q Y, Koltun V, et al. Robust reconstruction of indoor scenes [C]//Conference on Computer Vision and Pattern Recognition, 2015: 5556-5565. -
点击查看大图
计量
- 文章访问数: 109
- HTML全文浏览量: 34
- PDF下载量: 40
- 被引次数: 0
