-
文中提出了采用SURF特征和局部互相关信息的图像配准方法,具体配准流程如图1所示。
文中方法主要包含基于SURF的图像粗配准与基于局部互相关信息的图像精配准两部分。首先充分应用了SURF算法鲁棒性,通过大偏转角度的图像扭转,来实现图像的初步粗配准。同时,考虑到采用传统互相关信息的图像配准效率较低的问题,因此文中通过局部互相关信息的单应矩阵计算来降低运算量,从而加快匹配点提取速度,再应用于待配准图像,最终实现图像的高精度快速配准,以达到更好的图像配准效果。
-
SURF算法是对SIFT计算方法的一种改进,通过引入积分图像简化计算,进一步提升性能。SURF算法的核心思想是尺度空间理论,利用二阶偏导Hessian矩阵[14]来实现。若图像M内任意像素点表示为m(x, y),那么尺度是σ的Hessian矩阵H(m, σ)描述如下:
$$ {{{\boldsymbol{H}}}}\left( {m,\sigma } \right) = \left[ {\begin{array}{*{20}{c}} {{L_{mm}}\left( {m,\sigma } \right)}&{{L_{mm}}\left( {m,\sigma } \right)} \\ {L{}_{nm}\left( {m,\sigma } \right)}&{{L_{nn}}\left( {m,\sigma } \right)} \end{array}} \right] $$ (1) 式中:
$ {L_{mm}}\left( {m,\sigma } \right) $ 是图像M中点m与高斯二阶滤波$ {{{\partial ^2}g\left( \sigma \right)} \mathord{\left/ {\vphantom {{{\partial ^2}g\left( \sigma \right)} {\partial \left( {{m^2}} \right)}}} \right. } {\partial \left( {{m^2}} \right)}} $ 的卷积,其余参数表示含义与$ {L_{mm}}\left( {m,\sigma } \right) $ 相似。在SURF算法中使用了盒子滤波器,通过盒子滤波器和图像的卷积操作,把Hessian矩阵化简成Det(H):
$$ Det\left( {{{\boldsymbol{H}}}} \right){\text{ = }}{D_{mm}}{D_{nn}} - {\left( {0.99{D_{mm}}} \right)^2} $$ (2) 式中:Dmm和Dnn分别表示图像在x和y方向的二阶导。
利用盒子滤波器的大小求取Hessian矩阵的响应图像,并通过3D最大值抑制方法得到多尺度的特征点,最后根据欧氏距离计算,实现特征点的匹配,特征点匹配示例如图2所示。
-
互相关法是一种常用的配准算法,通过计算互相关系数衡量两张图像的相似度,两幅图像的互相关系数计算函数M如下:
$$ \begin{gathered} M = \frac{{\displaystyle\iint {\left[ {f\left( {x,y} \right) - avrf\left( {u,v} \right)} \right]}}}{{\sqrt {\displaystyle\iint {{{\left[ {g\left( {x + u,y + v} \right) - avrg\left( {u,v} \right)} \right]}^2}{\rm{d}}x{\rm{d}}y}} }} \cdot \hfill \\ \;\;\;\;\;\;\;\frac{{\left[ {g\left( {x + u,y + v} \right) - avrg\left( {u,v} \right)} \right]{\rm{d}}x{\rm{d}}y}}{{\sqrt {\displaystyle\iint {{{\left[ {f\left( {x,y} \right) - avrg\left( {x,y} \right)} \right]}^2}{\rm{d}}x{\rm{d}}y}} }} \hfill \\ \end{gathered} $$ (3) 式中:
$ f\left( {x,y} \right) $ 表示参考图像;$ avrf\left( {x,y} \right) $ 表示参考图像灰度均值;$ \left( {u,v} \right) $ 为计算得到的空间变换参数;$ g\left( {x + u,y + v} \right) $ 为变换后的待配准图像;$ avrg\left( {u,v} \right) $ 为变换后的待配准图像均值。需要注意的是,该函数计算结果是基于基准图像和待配准图像的重叠区域像素值开展计算得出的。但是在图像配准过程中,通过逐像素间的互相关系数计算选择匹配点的方式需要消耗大量的时间,常通过并行的方式来加速该过程的完成。文中则是选择通过局部关键区域图像的互相关系数计算去获取单应旋转矩阵,其流程示意图如图3所示。
图 3 基于局部互相关信息的图像精配准流程
Figure 3. Image fine registration process based on local cross-correlation information
选择参考图像和待配准图像具有相同的感兴趣区域(Region of Interest,ROI),该区域需具备丰富的轮廓等信息,对于ROI区域的选择文中构建了如下的区域选择方法:
对于一张大小为
$ L \times L $ 参考图像$ \varphi $ ,选择进行大小为$ {L_n} \times {L_n}\left( {{L \mathord{\left/ {\vphantom {L {2 \leqslant {L_n} < L}}} \right. } {2 \leqslant {L_n} < L}}} \right) $ 的滑动窗口$ \varpi $ 从图像$ \varphi $ 的左上角位置自上而下,自左向右进行滑动,相邻次数的滑动递进像素为$ \Delta \;\left( {{L \mathord{\left/ {\vphantom {L {3 \leqslant \Delta \leqslant {L \mathord{\left/ {\vphantom {L 2}} \right. } 2}}}} \right. } {3 \leqslant \Delta \leqslant {L \mathord{\left/ {\vphantom {L 2}} \right. } 2}}}} \right) $ ,当$ \varpi $ 的最右列相接于图像$ \varphi $ 的右边界时,停止滑动,向下依次遍历$ \varphi $ 的全部像素值。在图像
$ \varphi $ 上依次完成遍历后,会生成n个窗口图像$ \left[ {{\varpi _1},\;{\varpi _2}, \cdots ,\;{\varpi _{n - 1}},\;{\varpi _n}} \right] $ 。同样,对待配准图像进行窗口滑动,生成n个窗口图像$ \left[ {{\psi _1},\;{\psi _2}, \cdots ,{\psi _{n - 1}},\;{\psi _n}} \right] $ ,并且$ {\varpi _n} $ 与$ {\psi _n} $ 之间一一对应,共计n组配准窗口对$\varOmega$ 描述如下:$$ \varOmega \text=\left\{\left({\varpi }_{1}\text{,}{\psi }_{1}\right)\text{,}\left({\varpi }_{2}\text{,}{\psi }_{2}\right)\text{,}\cdots \text{,}\left({\varpi }_{n},{\psi }_{n}\right)\right\} $$ (4) 每一张生成的滑动窗口区域图像的右上角像素点相对于原始图像
$ \varphi $ 的坐标为$ \left( {x,y} \right) $ ,其滑动窗口获取的流程如图4所示。利用SURF算子对n个配准窗口区域图像对
$\varOmega$ 进行匹配点的快速计算,然后对每一对区域窗口计算得到的SURF匹配点个数进行统计,分别记为$ \left\{ {{\xi _1},\;{\xi _2}, \cdots ,{\xi _{n - 1}},\;{\xi _n}} \right\} $ ,已知特征点对相对比较密集的区域具备更高的图像轮廓等特征信息,易于图像特征点的提取。因此,在ROI配准区域的选择上,通过选择最多SURF特征匹配点个数来确定感兴趣区域(待配准区域)ROI,计算方式:$$ {{ROI}} = MAX\left\{ {{\xi _1},{\xi _2}, \cdots ,{\xi _{n - 1}},{\xi _n}} \right\} $$ (5) 式中:
${{\xi _1} \to \left({{\varpi _1},{\psi _1}} \right), \cdots ,{\xi _n} \to \left( {{\varpi _n},{\psi _n}} \right)\parallel n = 1,2, \cdots }$ 。对参考图像和待配准图像进行区域选择后,得到ROI待配准区域图像
$ \alpha $ 与ROI参考区域图像$ \;\beta $ 。对选择的ROI待配准区域图像$ \alpha $ 与ROI参考区域图像$ \;\beta $ 进行逐像素点的互相关系数计算,选择互相关性关联较大的像素点作为匹配点,将匹配点代入单应矩阵${{DH}}$ 的计算公式中。$$ \left[ {\begin{array}{*{20}{c}} U \\ V \\ 1 \end{array}} \right] = {{DH}} \times \left[ {\begin{array}{*{20}{c}} {{U_{\text{1}}}} \\ {{V_{\text{1}}}} \\ 1 \end{array}} \right] $$ (6) 式中:
$ \left(U,V\right) $ 和$ \left({U}_{\text{1}},{V}_{\text{1}}\right) $ 分别为对应匹配点的像素坐标值。计算得到区域单应矩阵
${{DH}}$ 之后,将待配准图像基于单应矩阵进行旋转,即可生成精确的配准图像。 -
实验选择四组图像进行配准验证,四组实验对象如图5所示。其中,A组图像大小均为442×442 pixel、B组为411×411 pixel、C组为458×458 pixel、D组为714×714 pixel。然后将左边的图像设成参考图像,将右边的图像设成待配准图像,来进行图像配准实验。
为了验证文中提出配准方法的效果,分别将基于SURF[15]、互相关信息(CCIC)[16]、ORB[17]、SIFT[18]的图像配准方法作为参照进行比较,并通过主观和客观两个维度进行评价,得到不同图像配准方法的实验结果如图6所示。
从图6的配准结果可以看出,基于互相关信息的图像配准方法对于偏转角较大的图像配准效果并不好,配准后四组实验数据均产生了的不同程度的明显扭曲和形变,无法实现有效配准;而基于SURF、ORB、SIFT的图像配准方法与文中提出的配准方法则可以较好的完成图像配准,主观效果较好,实现了图像空间位置特征的一致性调整。
另外,文中从配准偏移误差和所消耗的时间两个客观指标对不同配准方法的效果评估,得到的结果如表1所示。
表 1 不同图像配准方法实验结果
Table 1. Experimental results of different image registration methods
GroupRegistration method
Registration error/pixelRegistration duration/s A Proposed 0.0723 6.907 SURF 0.3764 3.557 CCIC - 12.105 ORB 0.6673 1.112 SIFT 0.3824 6.731 B Proposed 0.1052 5.403 SURF 0.3510 3.206 CCIC - 11.906 ORB 0.5062 1.105 SIFT 0.3356 5.419 C Proposed 0.0986 8.032 SURF 0.2742 3.908 CCIC - 12.231 ORB 0.4372 1.126 SIFT 0.2820 7.026 D Proposed 0.1153 9.430 SURF 0.2637 7.531 CCIC - 21.330 ORB 0.5816 1.335 SIFT 0.243 2 12.692 对四组实验结果数据中的配准时间与配准偏移误差进行对比分析可得:采用互相关信息的配准偏移误差几乎为0,但是配准耗时均在10 s以上,不能满足工程应用;采用ORB配准方法,虽然配准耗时最少,但配准精度却最大;SIFT配准方法,不论是在配准精度,还是配准耗时上,均变表现一般;而SURF配准方法,能够很好兼顾配准精度和配准耗时两个指标,且具有较好的鲁棒性。而文中提出的采用SURF特征和局部互相关信息的配准算法与其他配准方法相比较,具备更高的配准精度,在四组图像上的平均配准误差仅为0.097 9 pixel,且具备比单一基于互相关信息配准方法更好的鲁棒性,对于多角度偏转图像均有效;文中提出方法在四组图像上的平均配准耗时为7.443 s,配准效率虽略低于SURF,ORB和SIFT的配准方法,但仍优于基于互相关信息图像、准效率。综合可知,文中提出的采用SURF特征和局部互相关信息的配准算法在提升图像配准精度与鲁棒性方法具有出色表现,整体效果较好。
Image registration algorithm using SURF feature and local cross-correlation information
-
摘要: 针对现有图像配准方法中存在的鲁棒性与配准精度难以兼容的问题,提出了一种采用SURF特征和局部互相关信息的图像配准算法。首先通过SURF特征提取方法进行初步粗配准以提升配准鲁棒性,然后利用图像中局部关键区域的互相关系数计算出单应矩阵,最后将单应矩阵应用于粗配准结果,对粗配准后的图像进行旋转变换,从而实现高精度和高鲁棒性的图像配准。实验结果表明:提出的配准方法与基于SIFT、ORB、SURF、互相关信息的图像配准方法在多组数据上进行了对比,不仅表现出了较高的配准精度和配准效率,也表现出了更优的鲁棒性。Abstract: Aiming at the problem that the robustness and registration accuracy are difficult to be compatible in the existing image registration methods, an image registration algorithm using SURF feature and local cross-correlation information was proposed. Firstly, the SURF feature extraction method was used for preliminary rough registration to improve the robustness of registration. Then, the homography matrix was calculated by using the correlation coefficient of local key areas in the image. Finally, the homography matrix was applied to the rough registered image results for rotation transformation, so as to realize high precision and robust image registration. The experimental results show that the proposed registration method is compared with the image registration method based on SIFT, ORB, SURF and cross-correlation information on multiple groups of data, which not only shows higher registration accuracy and efficiency, but also shows better robustness.
-
表 1 不同图像配准方法实验结果
Table 1. Experimental results of different image registration methods
GroupRegistration method
Registration error/pixelRegistration duration/s A Proposed 0.0723 6.907 SURF 0.3764 3.557 CCIC - 12.105 ORB 0.6673 1.112 SIFT 0.3824 6.731 B Proposed 0.1052 5.403 SURF 0.3510 3.206 CCIC - 11.906 ORB 0.5062 1.105 SIFT 0.3356 5.419 C Proposed 0.0986 8.032 SURF 0.2742 3.908 CCIC - 12.231 ORB 0.4372 1.126 SIFT 0.2820 7.026 D Proposed 0.1153 9.430 SURF 0.2637 7.531 CCIC - 21.330 ORB 0.5816 1.335 SIFT 0.243 2 12.692 -
[1] 张家岗, 李达平, 杨晓东, 等. 基于深度卷积特征光流的形变医学图像配准算法[J]. 计算机应用, 2020, 40(6): 1799-1805. Zhang J G, Li D P, Yang X D, et al. Deformable medical image registration algorithm based on deep convolution feature optical flow [J]. Journal of Computer Applications, 2020, 40(6): 1799-1805. (in Chinese) [2] Kern J P, Pattichis M S. Robust multispectral image registration using mutual–information models [J]. IEEE Transactions on Geo-science and Remote Sensing, 2007, 45(5): 1494-1505. doi: 10.1109/TGRS.2007.892599 [3] 赵慧洁, 张晓元, 贾国瑞, 等. 运动补偿下双通道星载高光谱成像仪图像配准[J]. 红外与激光工程, 2021, 50(3): 266-274. doi: 20211022 Zhao H J, Zhang X Y, Jia G R, et al. Image registration of the dual-channel spaceborne hyperspectral imager with motion compensation [J]. Infrared and Laser Engineering, 2021, 50(3): 20211022. (in Chinese) doi: 20211022 [4] 周美琪, 高陈强, 木松, 等. 基于模态转换的红外与可见光图像配准方法[J]. 计算机工程与设计, 2020, 41(10): 2862-2866. Zhou M Q, Gao C Q, Mu S, et al. Infrared and visible image registration based on modal transformation [J]. Computer Engineering and Design, 2020, 41(10): 2862-2866. (in Chinese) [5] 胡永利, 王亮, 刘蓉, 等. 一种从粗到精的红外和可见光卫星图像配准方法[J]. 光谱学与光谱分析, 2013, 33(11): 2968-2972. doi: 10.3964/j.issn.1000-0593(2013)11-2968-05 Hu Y L, Wang L, Liu R, et al. A coarse-to-fine registration method for satellite infrared image and visual image [J]. Spectroscopy and Spectral Analysis, 2013, 33(11): 2968-2972. (in Chinese) doi: 10.3964/j.issn.1000-0593(2013)11-2968-05 [6] 樊彦国, 柴江龙, 许明明, 等. 基于ORB与RANSAC融合改进的图像配准[J]. 光学精密工程, 2019, 27(3): 702-717. doi: 10.3788/OPE.20192703.0702 Fan Y G, Chai J L, Xu M M, et al. Improved fast Image registration algorithm based on ORB and RANSAC fusion [J]. Optics and Precision Engineering, 2019, 27(3): 702-717. (in Chinese) doi: 10.3788/OPE.20192703.0702 [7] 闵超波. 基于自适应混合多项式变换的图像配准[J]. 计算机工程与应用, 2020, 56(23): 194-201. doi: 10.3778/j.issn.1002-8331.2005-0383 Min C B. Image registration via adaptive polynomial mixture transformation [J]. Computer Engineering and Applications, 2020, 56(23): 194-201. (in Chinese) doi: 10.3778/j.issn.1002-8331.2005-0383 [8] 吴禄慎, 陈小杜. 一种改进AKAZE特征和RANSAC的图像拼接算法[J]. 计算机工程, 2021, 47(1): 246-254. Wu L S, Chen X D. An Image stitching algorithm based on improved AKAZE feature and RANSAC [J]. Computer Engineering, 2021, 47(1): 246-254. (in Chinese) [9] 唐颖复, 王忠静, 张子雄. 基于改进SIFT和SURF算法的沙丘图像配准[J]. 清华大学学报(自然科学版), 2021, 61(2): 161-169. Tang Y F, Wang Z J, Zhang Z X. Registration of sand dune images using an improved SIFT and SURF algorithm [J]. Journal of Tsinghua University (Science and Technology), 2021, 61(2): 161-169. (in Chinese) [10] Calonder M, Lepetit V, Qzuysal M, et al. BRIEF: Computing a local binary descriptor very fast [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(6): 1281-1298. [11] Rublee E, Rabaud V, Konolige K, et al. ORB: An efficient alternative to SIFT or SURF[C]//IEEE International Conference on Computer Vision, 2011: 2564-2571. [12] 赖小波, 朱世强. 基于互相关信息的非参数变换立体匹配算法[J]. 浙江大学学报(工学版), 2011, 45(9): 1636-1642. doi: 10.3785/j.issn.1008-973X.2011.09.021 Lai X B, Zhu S Q. Mutual information based non-parametric transform stereo matching algorithm [J]. Journal of Zhejiang University (Engineering Science), 2011, 45(9): 1636-1642. (in Chinese) doi: 10.3785/j.issn.1008-973X.2011.09.021 [13] Zhang Y H, Li J Q. Studies on image target detection method based on mutual information [J]. Computer Simulation, 2013, 30(6): 397-400. doi: 10.3969/j.issn.1006-9348.2013.06.092 [14] 高珠珠, 魏伟波, 潘振宽, 等. 结合暗通道先验与Hessian正则项的图像去雾[J]. 图学学报, 2020, 41(1): 73-80. Gao Z Z, Wei W B, Pan Z K, et al. Image dehazing combining dark channel prior and Hessian regular term [J]. Journal of Graphics, 2020, 41(1): 73-80. (in Chinese) [15] 李积英, 杨永红, 温强, 等. 改进SURF在多模MRI乳腺配准算法中的研究[J]. 激光与光电子学进展, 2020, 57(12): 154-162. Li J Y, Yang Y H, Wen Q, et al. Research on improved SURF breast registration algorithm in multi-mode MRI [J]. Laser & Optoelectronics Progress, 2020, 57(12): 121010. (in Chinese) [16] Gao Y, Shi Z F, Pang K, et al. Fast image registration based on extracting key feature points [J]. Acta Scientiarum Naturalium Universitatis Nankaiensis(Natural Science Edition), 2020, 53(2): 56-61. (in Chinese) [17] 张磊, 郑子健, 张殿明, 等. 一种改进的ORB图像匹配算法[J]. 现代电子技术, 2020, 43(3): 27-30, 35. Zhang L, Zheng Z J, Zhang D M, et al. An improved ORB image matching algorithm [J]. Modern Electronics Technique, 2020, 43(3): 27-30,35. (in Chinese) [18] 黄海波, 李晓玲, 聂祥飞, 等. 基于SIFT算法的遥感图像配准研究[J]. 激光杂志, 2021, 42(6): 97-102. Huang H B, Li X L, Nie X F, et al. Research on remote sensing image registration based on SIFT algorithm [J]. Laser Journal, 2021, 42(6): 97-102. (in Chinese)