-
在计算机技术快速发展的今天，图像成像技术以及处理方法飞速发展，基于图像开展的计算机视觉研究也突破了多项技术瓶颈，其多种研究成果在生活应用、科研创新等多个领域均发挥着不可替代的作用[1-3]。其中，图像配准技术是通过对同一场景多角度成像的多幅图像进行几何参数变换的过程，通过特征提取把多幅存在变形或者重叠区域的图像完成一致性调整，多应用于医学，遥感图像分析、三维模型重建、遥感影像的合成、多场景融合以及视屏监控等领域[4-5]。
常用的图像配准包括三类：采用灰度信息互相关性配准、特征配准以及变换域配准[6]。其中，特征匹配方法的有易用和易扩展等优势，现今应用最为广泛。在计算机视觉领域中，随着尺度不变特征变换（Scale-Invariant Feature Transform，SIFT）和加速鲁棒性特征（Speed Up Robust Features，SURF）等具有尺度和旋转不变性算子的逐渐兴起，引起了众多学者的关注[7-8]。参考文献[9]针对颜色和纹理相近的图像在配准过程中使精度下降的难题，结合SIFT和SURF算法对单个沙丘图像进行配准，得到了较高的配准精度，且实用性较强；参考文献[10]将二进制的鲁棒性独立特征（Binary Robust Independent Elementary Features，BRIEF）描述符应用在图像配准中，不仅减少了建立描述符的时长，还大幅降低了存储空间，且对光照变化有较强的适应鲁棒性，但是其特征点检测不具备尺度和旋转不变性；参考文献[11]设计了二进制简单描述符（Oriented Brief，ORB）算法，首先借助加速分割测试特征（Features From Accelerated Segment Test，FAST）获取带有尺度不变性的角点特征信息，然后计算出角点的主方向，并建立带有旋转不变性的BRIEF描述符，有效改善了运算效率 。而基于互相关信息（Cross-Correlation Information，CCI）的图像配准方法是通过模板图像在基准图像中移动，来求解两者的相似度，而峰值出现的地方即为所求的配准位置，然周再通过计算变换矩阵，从而实现图像配准[12]。参考文献[13]针对运动物体的检测场景，通过计算相邻帧两幅图像的互相关信息，获取平移旋转参数，从而能够从运动背景中准确地检测出目标。但是现有的图像配准方法在实际应用过程中存在着诸多问题，如：ORB图像配准方法虽然具备较快的配准速度，但是配准精度不高，难以在实际应用中达到较好的效果；SURF与SIFT图像配准方法虽具备较好的鲁棒性，但是这些方法的配准精度同样有待提高；而基于互相关信息的图像配准方法虽然配准精度较高，但是在运算速度和鲁棒性两个方面表现较差。为此，文中融合SURF特征和局部互相关信息设计了一种改进的图像配准算法，通过SURF特征完成图像的粗配准，以提升算法的鲁棒性，再将粗配准结果图像进行局部互相关信息提取，并计算出单应矩阵，最后将获取的单应矩阵应用于待配准图像全图，以实现图像精确配准，该方法充分结合了多种配准方法的鲁棒性、高精度等优势，并通过应用局部信息计算，也大幅提升了配准速度。
-
文中提出了采用SURF特征和局部互相关信息的图像配准方法，具体配准流程如图1所示。
图 1 配准流程
Figure 1. Registration process
文中方法主要包含基于SURF的图像粗配准与基于局部互相关信息的图像精配准两部分。首先充分应用了SURF算法鲁棒性，通过大偏转角度的图像扭转，来实现图像的初步粗配准。同时，考虑到采用传统互相关信息的图像配准效率较低的问题，因此文中通过局部互相关信息的单应矩阵计算来降低运算量，从而加快匹配点提取速度，再应用于待配准图像，最终实现图像的高精度快速配准，以达到更好的图像配准效果。
-
SURF算法是对SIFT计算方法的一种改进，通过引入积分图像简化计算，进一步提升性能。SURF算法的核心思想是尺度空间理论，利用二阶偏导Hessian矩阵[14]来实现。若图像M内任意像素点表示为m（x, y），那么尺度是σ的Hessian矩阵H(m, σ)描述如下：
$$ {{{\boldsymbol{H}}}}\left( {m,\sigma } \right) = \left[ {\begin{array}{*{20}{c}} {{L_{mm}}\left( {m,\sigma } \right)}&{{L_{mm}}\left( {m,\sigma } \right)} \\ {L{}_{nm}\left( {m,\sigma } \right)}&{{L_{nn}}\left( {m,\sigma } \right)} \end{array}} \right] $$ (1) 式中：
$ {L_{mm}}\left( {m,\sigma } \right) $ 是图像M中点m与高斯二阶滤波$ {{{\partial ^2}g\left( \sigma \right)} \mathord{\left/ {\vphantom {{{\partial ^2}g\left( \sigma \right)} {\partial \left( {{m^2}} \right)}}} \right. } {\partial \left( {{m^2}} \right)}} $ 的卷积，其余参数表示含义与$ {L_{mm}}\left( {m,\sigma } \right) $ 相似。在SURF算法中使用了盒子滤波器，通过盒子滤波器和图像的卷积操作，把Hessian矩阵化简成Det(H)：
$$ Det\left( {{{\boldsymbol{H}}}} \right){\text{ = }}{D_{mm}}{D_{nn}} - {\left( {0.99{D_{mm}}} \right)^2} $$ (2) 式中：Dmm和Dnn分别表示图像在x和y方向的二阶导。
利用盒子滤波器的大小求取Hessian矩阵的响应图像，并通过3D最大值抑制方法得到多尺度的特征点，最后根据欧氏距离计算，实现特征点的匹配，特征点匹配示例如图2所示。
图 2 SURF算法特征点配准示例
Figure 2. Example of SURF algorithm feature point registration
-
互相关法是一种常用的配准算法，通过计算互相关系数衡量两张图像的相似度，两幅图像的互相关系数计算函数M如下：
$$ \begin{gathered} M = \frac{{\displaystyle\iint {\left[ {f\left( {x,y} \right) - avrf\left( {u,v} \right)} \right]}}}{{\sqrt {\displaystyle\iint {{{\left[ {g\left( {x + u,y + v} \right) - avrg\left( {u,v} \right)} \right]}^2}{\rm{d}}x{\rm{d}}y}} }} \cdot \hfill \\ \;\;\;\;\;\;\;\frac{{\left[ {g\left( {x + u,y + v} \right) - avrg\left( {u,v} \right)} \right]{\rm{d}}x{\rm{d}}y}}{{\sqrt {\displaystyle\iint {{{\left[ {f\left( {x,y} \right) - avrg\left( {x,y} \right)} \right]}^2}{\rm{d}}x{\rm{d}}y}} }} \hfill \\ \end{gathered} $$ (3) 式中：
$ f\left( {x,y} \right) $ 表示参考图像；$ avrf\left( {x,y} \right) $ 表示参考图像灰度均值；$ \left( {u,v} \right) $ 为计算得到的空间变换参数；$ g\left( {x + u,y + v} \right) $ 为变换后的待配准图像；$ avrg\left( {u,v} \right) $ 为变换后的待配准图像均值。需要注意的是，该函数计算结果是基于基准图像和待配准图像的重叠区域像素值开展计算得出的。但是在图像配准过程中，通过逐像素间的互相关系数计算选择匹配点的方式需要消耗大量的时间，常通过并行的方式来加速该过程的完成。文中则是选择通过局部关键区域图像的互相关系数计算去获取单应旋转矩阵，其流程示意图如图3所示。
图 3 基于局部互相关信息的图像精配准流程
Figure 3. Image fine registration process based on local cross-correlation information
选择参考图像和待配准图像具有相同的感兴趣区域（Region of Interest，ROI），该区域需具备丰富的轮廓等信息，对于ROI区域的选择文中构建了如下的区域选择方法：
对于一张大小为
$ L \times L $ 参考图像$ \varphi $ ，选择进行大小为$ {L_n} \times {L_n}\left( {{L \mathord{\left/ {\vphantom {L {2 \leqslant {L_n} < L}}} \right. } {2 \leqslant {L_n} < L}}} \right) $ 的滑动窗口$ \varpi $ 从图像$ \varphi $ 的左上角位置自上而下，自左向右进行滑动，相邻次数的滑动递进像素为$ \Delta \;\left( {{L \mathord{\left/ {\vphantom {L {3 \leqslant \Delta \leqslant {L \mathord{\left/ {\vphantom {L 2}} \right. } 2}}}} \right. } {3 \leqslant \Delta \leqslant {L \mathord{\left/ {\vphantom {L 2}} \right. } 2}}}} \right) $ ，当$ \varpi $ 的最右列相接于图像$ \varphi $ 的右边界时，停止滑动，向下依次遍历$ \varphi $ 的全部像素值。在图像
$ \varphi $ 上依次完成遍历后，会生成n个窗口图像$ \left[ {{\varpi _1},\;{\varpi _2}, \cdots ,\;{\varpi _{n - 1}},\;{\varpi _n}} \right] $ 。同样，对待配准图像进行窗口滑动，生成n个窗口图像$ \left[ {{\psi _1},\;{\psi _2}, \cdots ,{\psi _{n - 1}},\;{\psi _n}} \right] $ ，并且$ {\varpi _n} $ 与$ {\psi _n} $ 之间一一对应，共计n组配准窗口对$\varOmega$ 描述如下：$$ \varOmega \text=\left\{\left({\varpi }_{1}\text{，}{\psi }_{1}\right)\text{，}\left({\varpi }_{2}\text{，}{\psi }_{2}\right)\text{，}\cdots \text{，}\left({\varpi }_{n},{\psi }_{n}\right)\right\} $$ (4) 每一张生成的滑动窗口区域图像的右上角像素点相对于原始图像
$ \varphi $ 的坐标为$ \left( {x,y} \right) $ ，其滑动窗口获取的流程如图4所示。
图 4 滑动窗口获取的流程
Figure 4. Process of sliding window acquisition
利用SURF算子对n个配准窗口区域图像对
$\varOmega$ 进行匹配点的快速计算，然后对每一对区域窗口计算得到的SURF匹配点个数进行统计，分别记为$ \left\{ {{\xi _1},\;{\xi _2}, \cdots ,{\xi _{n - 1}},\;{\xi _n}} \right\} $ ，已知特征点对相对比较密集的区域具备更高的图像轮廓等特征信息，易于图像特征点的提取。因此，在ROI配准区域的选择上，通过选择最多SURF特征匹配点个数来确定感兴趣区域（待配准区域）ROI，计算方式：$$ {{ROI}} = MAX\left\{ {{\xi _1},{\xi _2}, \cdots ,{\xi _{n - 1}},{\xi _n}} \right\} $$ (5) 式中：
${{\xi _1} \to \left({{\varpi _1},{\psi _1}} \right), \cdots ,{\xi _n} \to \left( {{\varpi _n},{\psi _n}} \right)\parallel n = 1,2, \cdots }$ 。对参考图像和待配准图像进行区域选择后，得到ROI待配准区域图像
$ \alpha $ 与ROI参考区域图像$ \;\beta $ 。对选择的ROI待配准区域图像$ \alpha $ 与ROI参考区域图像$ \;\beta $ 进行逐像素点的互相关系数计算，选择互相关性关联较大的像素点作为匹配点，将匹配点代入单应矩阵${{DH}}$ 的计算公式中。$$ \left[ {\begin{array}{*{20}{c}} U \\ V \\ 1 \end{array}} \right] = {{DH}} \times \left[ {\begin{array}{*{20}{c}} {{U_{\text{1}}}} \\ {{V_{\text{1}}}} \\ 1 \end{array}} \right] $$ (6) 式中：
$ \left(U，V\right) $ 和$ \left({U}_{\text{1}}，{V}_{\text{1}}\right) $ 分别为对应匹配点的像素坐标值。计算得到区域单应矩阵
${{DH}}$ 之后，将待配准图像基于单应矩阵进行旋转，即可生成精确的配准图像。 -
实验选择四组图像进行配准验证，四组实验对象如图5所示。其中，A组图像大小均为442×442 pixel、B组为411×411 pixel、C组为458×458 pixel、D组为714×714 pixel。然后将左边的图像设成参考图像，将右边的图像设成待配准图像，来进行图像配准实验。
图 5 实验对象
Figure 5. Experimental object
为了验证文中提出配准方法的效果，分别将基于SURF[15]、互相关信息（CCIC）[16]、ORB[17]、SIFT[18]的图像配准方法作为参照进行比较，并通过主观和客观两个维度进行评价，得到不同图像配准方法的实验结果如图6所示。
图 6 不同图像配准方法的实验结果
Figure 6. Experimental results of different image registration methods
从图6的配准结果可以看出，基于互相关信息的图像配准方法对于偏转角较大的图像配准效果并不好，配准后四组实验数据均产生了的不同程度的明显扭曲和形变，无法实现有效配准；而基于SURF、ORB、SIFT的图像配准方法与文中提出的配准方法则可以较好的完成图像配准，主观效果较好，实现了图像空间位置特征的一致性调整。
另外，文中从配准偏移误差和所消耗的时间两个客观指标对不同配准方法的效果评估，得到的结果如表1所示。
表 1 不同图像配准方法实验结果
Table 1. Experimental results of different image registration methods
GroupRegistration method
Registration error/pixelRegistration duration/s A Proposed 0.0723 6.907 SURF 0.3764 3.557 CCIC - 12.105 ORB 0.6673 1.112 SIFT 0.3824 6.731 B Proposed 0.1052 5.403 SURF 0.3510 3.206 CCIC - 11.906 ORB 0.5062 1.105 SIFT 0.3356 5.419 C Proposed 0.0986 8.032 SURF 0.2742 3.908 CCIC - 12.231 ORB 0.4372 1.126 SIFT 0.2820 7.026 D Proposed 0.1153 9.430 SURF 0.2637 7.531 CCIC - 21.330 ORB 0.5816 1.335 SIFT 0.243 2 12.692 对四组实验结果数据中的配准时间与配准偏移误差进行对比分析可得：采用互相关信息的配准偏移误差几乎为0，但是配准耗时均在10 s以上，不能满足工程应用；采用ORB配准方法，虽然配准耗时最少，但配准精度却最大；SIFT配准方法，不论是在配准精度，还是配准耗时上，均变表现一般；而SURF配准方法，能够很好兼顾配准精度和配准耗时两个指标，且具有较好的鲁棒性。而文中提出的采用SURF特征和局部互相关信息的配准算法与其他配准方法相比较，具备更高的配准精度，在四组图像上的平均配准误差仅为0.097 9 pixel，且具备比单一基于互相关信息配准方法更好的鲁棒性，对于多角度偏转图像均有效；文中提出方法在四组图像上的平均配准耗时为7.443 s，配准效率虽略低于SURF，ORB和SIFT的配准方法，但仍优于基于互相关信息图像、准效率。综合可知，文中提出的采用SURF特征和局部互相关信息的配准算法在提升图像配准精度与鲁棒性方法具有出色表现，整体效果较好。
-
针对现有的图像配准方法在实际应用过程中所面临的图像配准效率、配准精度、鲁棒性等无法兼具的问题，提出了一种结合SURF特征粗配准，并通过局部互相关信息实现了精确配准，在提升图像配准精度的同时，也保持了较高的配准效率，并采用多种不同的配准方法对四组图像数据进行了对比验证，实验结果表明：文中提出的改进配准方法不论是从主观上，还是客观上，都表现出了高精度与高鲁棒性的优势。在接下来的研究工作中，将围绕基于互相关信息的图像配准方法中匹配点的分散均衡度开展研究，通过去除区域匹配点密集分配的情况，达到分布均一化，进一步减小计算量，提升运算效率。
Image registration algorithm using SURF feature and local cross-correlation information
-
摘要: 针对现有图像配准方法中存在的鲁棒性与配准精度难以兼容的问题，提出了一种采用SURF特征和局部互相关信息的图像配准算法。首先通过SURF特征提取方法进行初步粗配准以提升配准鲁棒性，然后利用图像中局部关键区域的互相关系数计算出单应矩阵，最后将单应矩阵应用于粗配准结果，对粗配准后的图像进行旋转变换，从而实现高精度和高鲁棒性的图像配准。实验结果表明：提出的配准方法与基于SIFT、ORB、SURF、互相关信息的图像配准方法在多组数据上进行了对比，不仅表现出了较高的配准精度和配准效率，也表现出了更优的鲁棒性。Abstract: Aiming at the problem that the robustness and registration accuracy are difficult to be compatible in the existing image registration methods, an image registration algorithm using SURF feature and local cross-correlation information was proposed. Firstly, the SURF feature extraction method was used for preliminary rough registration to improve the robustness of registration. Then, the homography matrix was calculated by using the correlation coefficient of local key areas in the image. Finally, the homography matrix was applied to the rough registered image results for rotation transformation, so as to realize high precision and robust image registration. The experimental results show that the proposed registration method is compared with the image registration method based on SIFT, ORB, SURF and cross-correlation information on multiple groups of data, which not only shows higher registration accuracy and efficiency, but also shows better robustness.
-
图 3 基于局部互相关信息的图像精配准流程
Figure 3. Image fine registration process based on local cross-correlation information
图 6 不同图像配准方法的实验结果
Figure 6. Experimental results of different image registration methods
表 1 不同图像配准方法实验结果
Table 1. Experimental results of different image registration methods
GroupRegistration method
Registration error/pixelRegistration duration/s A Proposed 0.0723 6.907 SURF 0.3764 3.557 CCIC - 12.105 ORB 0.6673 1.112 SIFT 0.3824 6.731 B Proposed 0.1052 5.403 SURF 0.3510 3.206 CCIC - 11.906 ORB 0.5062 1.105 SIFT 0.3356 5.419 C Proposed 0.0986 8.032 SURF 0.2742 3.908 CCIC - 12.231 ORB 0.4372 1.126 SIFT 0.2820 7.026 D Proposed 0.1153 9.430 SURF 0.2637 7.531 CCIC - 21.330 ORB 0.5816 1.335 SIFT 0.243 2 12.692 
下载: 导出CSV
-
[1] 张家岗, 李达平, 杨晓东, 等. 基于深度卷积特征光流的形变医学图像配准算法[J]. 计算机应用, 2020, 40(6): 1799-1805. Zhang J G, Li D P, Yang X D, et al. Deformable medical image registration algorithm based on deep convolution feature optical flow [J]. Journal of Computer Applications, 2020, 40(6): 1799-1805. (in Chinese) [2] Kern J P, Pattichis M S. Robust multispectral image registration using mutual–information models [J]. IEEE Transactions on Geo-science and Remote Sensing, 2007, 45(5): 1494-1505. doi: 10.1109/TGRS.2007.892599 [3] 赵慧洁, 张晓元, 贾国瑞, 等. 运动补偿下双通道星载高光谱成像仪图像配准[J]. 红外与激光工程, 2021, 50(3): 266-274. doi: 20211022 Zhao H J, Zhang X Y, Jia G R, et al. Image registration of the dual-channel spaceborne hyperspectral imager with motion compensation [J]. Infrared and Laser Engineering, 2021, 50(3): 20211022. (in Chinese) doi: 20211022 [4] 周美琪, 高陈强, 木松, 等. 基于模态转换的红外与可见光图像配准方法[J]. 计算机工程与设计, 2020, 41(10): 2862-2866. Zhou M Q, Gao C Q, Mu S, et al. Infrared and visible image registration based on modal transformation [J]. Computer Engineering and Design, 2020, 41(10): 2862-2866. (in Chinese) [5] 胡永利, 王亮, 刘蓉, 等. 一种从粗到精的红外和可见光卫星图像配准方法[J]. 光谱学与光谱分析, 2013, 33(11): 2968-2972. doi: 10.3964/j.issn.1000-0593(2013)11-2968-05 Hu Y L, Wang L, Liu R, et al. A coarse-to-fine registration method for satellite infrared image and visual image [J]. Spectroscopy and Spectral Analysis, 2013, 33(11): 2968-2972. (in Chinese) doi: 10.3964/j.issn.1000-0593(2013)11-2968-05 [6] 樊彦国, 柴江龙, 许明明, 等. 基于ORB与RANSAC融合改进的图像配准[J]. 光学精密工程, 2019, 27(3): 702-717. doi: 10.3788/OPE.20192703.0702 Fan Y G, Chai J L, Xu M M, et al. Improved fast Image registration algorithm based on ORB and RANSAC fusion [J]. Optics and Precision Engineering, 2019, 27(3): 702-717. (in Chinese) doi: 10.3788/OPE.20192703.0702 [7] 闵超波. 基于自适应混合多项式变换的图像配准[J]. 计算机工程与应用, 2020, 56(23): 194-201. doi: 10.3778/j.issn.1002-8331.2005-0383 Min C B. Image registration via adaptive polynomial mixture transformation [J]. Computer Engineering and Applications, 2020, 56(23): 194-201. (in Chinese) doi: 10.3778/j.issn.1002-8331.2005-0383 [8] 吴禄慎, 陈小杜. 一种改进AKAZE特征和RANSAC的图像拼接算法[J]. 计算机工程, 2021, 47(1): 246-254. Wu L S, Chen X D. An Image stitching algorithm based on improved AKAZE feature and RANSAC [J]. Computer Engineering, 2021, 47(1): 246-254. (in Chinese) [9] 唐颖复, 王忠静, 张子雄. 基于改进SIFT和SURF算法的沙丘图像配准[J]. 清华大学学报(自然科学版), 2021, 61(2): 161-169. Tang Y F, Wang Z J, Zhang Z X. Registration of sand dune images using an improved SIFT and SURF algorithm [J]. Journal of Tsinghua University (Science and Technology), 2021, 61(2): 161-169. (in Chinese) [10] Calonder M, Lepetit V, Qzuysal M, et al. BRIEF: Computing a local binary descriptor very fast [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(6): 1281-1298. [11] Rublee E, Rabaud V, Konolige K, et al. ORB: An efficient alternative to SIFT or SURF[C]//IEEE International Conference on Computer Vision, 2011: 2564-2571. [12] 赖小波, 朱世强. 基于互相关信息的非参数变换立体匹配算法[J]. 浙江大学学报(工学版), 2011, 45(9): 1636-1642. doi: 10.3785/j.issn.1008-973X.2011.09.021 Lai X B, Zhu S Q. Mutual information based non-parametric transform stereo matching algorithm [J]. Journal of Zhejiang University (Engineering Science), 2011, 45(9): 1636-1642. (in Chinese) doi: 10.3785/j.issn.1008-973X.2011.09.021 [13] Zhang Y H, Li J Q. Studies on image target detection method based on mutual information [J]. Computer Simulation, 2013, 30(6): 397-400. doi: 10.3969/j.issn.1006-9348.2013.06.092 [14] 高珠珠, 魏伟波, 潘振宽, 等. 结合暗通道先验与Hessian正则项的图像去雾[J]. 图学学报, 2020, 41(1): 73-80. Gao Z Z, Wei W B, Pan Z K, et al. Image dehazing combining dark channel prior and Hessian regular term [J]. Journal of Graphics, 2020, 41(1): 73-80. (in Chinese) [15] 李积英, 杨永红, 温强, 等. 改进SURF在多模MRI乳腺配准算法中的研究[J]. 激光与光电子学进展, 2020, 57(12): 154-162. Li J Y, Yang Y H, Wen Q, et al. Research on improved SURF breast registration algorithm in multi-mode MRI [J]. Laser & Optoelectronics Progress, 2020, 57(12): 121010. (in Chinese) [16] Gao Y, Shi Z F, Pang K, et al. Fast image registration based on extracting key feature points [J]. Acta Scientiarum Naturalium Universitatis Nankaiensis(Natural Science Edition), 2020, 53(2): 56-61. (in Chinese) [17] 张磊, 郑子健, 张殿明, 等. 一种改进的ORB图像匹配算法[J]. 现代电子技术, 2020, 43(3): 27-30, 35. Zhang L, Zheng Z J, Zhang D M, et al. An improved ORB image matching algorithm [J]. Modern Electronics Technique, 2020, 43(3): 27-30,35. (in Chinese) [18] 黄海波, 李晓玲, 聂祥飞, 等. 基于SIFT算法的遥感图像配准研究[J]. 激光杂志, 2021, 42(6): 97-102. Huang H B, Li X L, Nie X F, et al. Research on remote sensing image registration based on SIFT algorithm [J]. Laser Journal, 2021, 42(6): 97-102. (in Chinese) -
点击查看大图
图(6) / 表(1)
计量
- 文章访问数: 292
- HTML全文浏览量: 110
- PDF下载量: 33
- 被引次数: 0
