-
文中使用Grabcut算法和Mean-Shift算法对图像进行预处理。首先使用Grabcut将人像粗分割出来,再通过滑动窗口寻找同一类型的像素点并统一像素点的像素值,可以输出一个颜色区域边界清晰,细纹纹理更少且平缓的人像图片。
(1) Mean-Shift向量定义
给定d维空间中的n个样本点
${x_i}$ ,其中i=1,…,n,x点的Mean-Shift向量的基本形式为:$${M_h}\left( x \right) \equiv \frac{1}{k}\sum\limits_{{x_i} \in {S_h}} {\left( {{x_i} - x} \right)} $$ (1) 式中:k为在这n个样本点
${x_i}$ 中有k个点落入${S_h}$ 区域中;${S_h}$ 是一个半径为h的高维球区域,是满足以下关系的y点的集合:$${S_h}\left( x \right) \equiv \left\{ {y:{{\left( {y - x} \right)}^{\rm T}}\left( {y - x} \right) \leqslant {h^2}} \right\}$$ (2) (2) 迭代空间构建
以输入图像上任一点
${P_0}$ 为球心,建立物理空间上半径为${S_p}$ ,色彩空间上半径为${C_r}$ 的五维球形空间。文中热红外图与可见光图的${S_p}$ 和${C_r}$ 分别为(20,20)和(1,70),根据不同场景可以调整。在球形空间中,求得所有点相对于中心点的色彩向量之和,移动迭代空间的中心点到该向量的终点,直到在最后一个空间球体中所求得的向量和的终点就是该空间球体的中心点${P_n}$ ,迭代结束。点${P_0}$ 的色彩值为本轮迭代的终点${P_n}$ 的色彩值,如此完成每一个点的色彩均值漂移,初步分割前景和背景。 -
对预处理后的图像使用Canny算子检测边缘,并进行灰度二值化,再对二值图像进行轮廓检索和提取。文中FCQ算法使用轮廓逼近方式进行轮廓点检测,可以减少返回点的数目。
(1) 定义离散曲率
对于曲线
$y = f\left( x \right)$ ,使用曲率检测法[13]给出点${P_i}$ 的离散曲率$S\left( {{P_i}} \right)$ 的定义:$$S\left( {{{{p}}_i}} \right) = {f_{i + 1}} - {f_i}$$ (3) (2) 确定闭曲线上点
${P_i}$ 的支持域任取点
${P_i}$ 前后两点${P_{i - k}}$ 和${P_{i + k}}$ ,$\overline {{P_{i - k}}{P_{i + k}}} $ 为曲线上的一个弦,弦的长度${l_{ik}}$ 为:$${l_{ik}} = \left| {\overline {{P_{i - k}}{P_{i + k}}} } \right|$$ (4) 设
${d_{ik}}$ 为点${P_i}$ 的到弦$\overline {{P_{i - k}}{P_{i + k}}} $ 的垂直距离。从k=1开始,计算${l_{ik}}$ 和${d_{ik}}$ ,判断是否满足以下两个条件1)和2)的任意一个:$$ {{1}})\;\;\;\;\;\;\;\;{l_{ik}} \geqslant {l_{i,k + 1}} $$ (5) $$ {{2}})\;\;\;\;\;\;\;\;\;\frac{{{d_{ik}}}}{{{l_{ik}}}} \geqslant \frac{{{d_{i,k + 1}}}}{{{l_{i,k + 1}}}}\;\;\;{\text{其中}}\;\;\;{d_{ik}}>0 $$ (6) $$ \frac{{{d_{ik}}}}{{{l_{ik}}}} \leqslant \frac{{{d_{i,k + 1}}}}{{{l_{i,k + 1}}}}\;\;\;{\text{其中}}\;\;\;{d_{ik}} <0 $$ (7) k的最大值即是点
${P_i}$ 支持域的半径,记为${k_i}$ ,则${P_i}$ 的支持域是满足条件1)或者2)的点集,即$$D\left( {{P_i}} \right) = \left\{ {\left( {{P_{i - {k_i}}}, \cdot \cdot \cdot ,{P_{i - 1}},{P_i},{P_{i + 1}}, \cdot \cdot \cdot ,{P_{i + {k_i}}}} \right)| 1 )\parallel 2)} \right\}$$ (8) (3) 返回轮廓点
1)使用曲率检测作为显著性度量并计算每个点的曲率绝对值
$\left| {S\left( {{P_i}} \right)} \right|$ 。2)非最大值抑制,保留满足以下条件的点。
$$\left| {S\left( {{P_i}} \right)} \right| \geqslant \left| {S\left( {{P_j}} \right)} \right|$$ (9) 式中:j满足
$\left| {i - j} \right| \leqslant {k_i}/2$ 。3)进一步抑制所有具有0曲率的点。
4)针对3)剩下的点,如果
$D\left( {{P_i}} \right)$ 中的${k_i}$ =1,并且${P_{i - 1}}$ 或${P_{i + 1}}$ 仍然存在,则进一步将满足$\left| {S\left( {{P_i}} \right)} \right| \leqslant $ $ \left| {S\left( {{P_{i - 1}}} \right)} \right|$ 或$\left| {S\left( {{P_i}} \right)} \right| \leqslant \left| {S\left( {{P_{i + 1}}} \right)} \right|$ 的点${P_i}$ 抑制掉。5)对于存活超过两个点的点集
$D\left( {{P_i}} \right)$ ,抑制除点集的两个端点之外的所有点;对于点集中只有两个点的情况:如果$\left| {S\left( {{P_i}} \right)} \right| > \left| {S\left( {{P_{i + 1}}} \right)} \right|$ ,则排除点${P_{i + 1}}$ ,如果$\left| {S\left( {{P_i}} \right)} \right| < \left| {S\left( {{P_{i + 1}}} \right)} \right|$ ,则排除点${P_i}$ 。该算法可以从第一个轮廓点开始顺序处理,步骤2)之后,仍存的点数通常仅是总输入轮廓点的一小部分;步骤3)基本上消除具有零曲率的点,步骤4)需要照顾支持域为1的点。图2为返回点的图示,图2(a)为一个轮廓曲线,图2(b)上红色的点为所返回的轮廓点,可见此方法有效减少了返回点的数目,平滑了曲线,并且可以保留曲线的特征。
(4)筛选出特征轮廓
对于热红外图和可见光图,检索出来的轮廓数量和轮廓点都不尽相同,分别提取两图像的轮廓点后对它们进行绘制,再将轮廓进行编号建立网状结构,计算每个轮廓的周长
$l$ 和面积s,得到两个数组:$$L{\rm{ = }}\left[ {{l_1},{l_2} ,\cdot \cdot \cdot ,{l_i}} \right]$$ (10) $$S{\rm{ = }}\left[ {{s_1},{s_2}, \cdot \cdot \cdot ,{s_i}} \right]$$ (11) 式中:
$i$ 为轮廓的个数,$i > 0$ 。设置周长阈值a和面积阈值b,使得周长和面积满足:$$\left( {{l_i} \geqslant a} \right) \cup \left( {{s_i} \geqslant b} \right)$$ (12) 通过公式(12)筛选周长和面积同时为最大的2~4个轮廓,若轮廓数小于2,则迭代降低a,b的值直到轮廓数符合要求;若轮廓数大于4,则调高阈值。这样可以剔除目标人像外部和内部仍存在的干扰轮廓,得到的就是待配准的特征轮廓,再对其进行多边形近似,如图3所示。
图 3 特征轮廓 。(a)、(d) 传统方式下进行的提取的热红外图和可见光图的轮廓;(b)、(e) 参考文献[10]中对轮廓进行了多边形逼近;(c)、(f) 文中FCQ算法所提取的特征轮廓
Figure 3. Featured contour. (a), (d) Contours of thermal infrared image and visible light image extracted by traditional method; (b), (e) Polygon approximation of contours in reference [10]; (c), (f) Featured contours extracted by proposed FCQ algorithm
从图3可以看到,图3(a)和(d)显示没有减少返回的点数,还会受到目标外部轮廓的干扰。图3(b)和(e)示出得到的特征多边形差异较大。图3(c)和(f)是文中FCQ算法得到的特征轮廓,减少了返回的点数,只保留了可用于配准的轮廓,且消除了一定的干扰,只需要再求其外接四边形就可以进行配准。
图4是一组复杂背景下提取的特征轮廓,图4(a)和(b)为热红外图和可见光图像,经过人像粗分割后得到图4(c)和(d),图4(e)和(f)为提取到的特征轮廓。
-
将特征轮廓图上的点全部存入一个点集中,生成外接四边形,四边形可能超出图像的边界,此时需要求出四边形与特征轮廓的左交点和右交点,记它们的纵坐标分别为
$\left( {{m_1},{m_2}, \cdots ,{m_n}} \right)$ 和$\left( {{n_1},{n_2}, \cdots ,{n_m}} \right)$ 。对这两组纵坐标分别按大小排序,取其中位数${m_a},{n_b}$ ,则特征四边形的四个顶点就是矩形的两个上顶点和纵坐标为${m_a}$ 的左交点、纵坐标为${n_b}$ 的右交点,输出这四个点进行参数计算。图5为利用第2.2节步骤(4)中筛选的特征轮廓绘制特征四边形的算法过程。
-
实际应用中热像仪与普通镜头的位置、角度和成像焦距不同,不能保证图像的平直行。为了提高配准的可靠性和灵活性,文中采用了单应性变换。
单应性变换具有八个自由度。可以表示为:
$$\left( {\begin{array}{*{20}{c}} {x'} \\ {y'} \\ 1 \end{array}} \right) = \left[ {\begin{array}{*{20}{c}} {{A_{2 \times 2}}}&{{T_{2 \times 1}}} \\ {{V^{\rm T}}}&s \end{array}} \right]\left( {\begin{array}{*{20}{c}} x \\ y \\ 1 \end{array}} \right)$$ (13) 式中:旋转矩阵
${A_{2 \times 2}} = \left[ {\begin{array}{*{20}{c}} {{a_{00}}}&{{a_{01}}} \\ {{a_{10}}}&{{a_{11}}} \end{array}} \right]$ 表示的是仿射变换参数矩阵;${T_{2 \times 1}} = \left[ {\begin{array}{*{20}{c}} {{t_x}} \\ {{t_y}} \end{array}} \right]$ 表示x,y方向上的平移量;${V^{\rm T}} = \left[ {{v_1},{v_2}} \right]$ 表示一种“变换后边缘交点”关系;s是一个与${V^{\rm T}} = \left[ {{v_1},{v_2}} \right]$ 有关的缩放因子。 -
热红外图和可见光图的成像原理不同,求得的两个特征轮廓不能完全契合,为了消除误差,需要优化单应性变换模型。假定热红外图的特征四边形顶点为
$\left( {{x_1},{y_1}} \right)$ ,$\left( {{x_2},{y_2}} \right)$ ,$\left( {{x_3},{y_3}} \right),\left( {{x_4},{y_4}} \right)$ ,可见光图的特征四边形顶点为$\left( {{{x'}_1},{{y'}_1}} \right),\left( {{{x'}_2},{{y'}_2}} \right),\left( {{{x'}_3},{{y'}_3}} \right),\left( {{{x'}_4},{{y'}_4}} \right)$ ,优化的单应性变换参数计算步骤如下:(1)分别计算两个四边形的对角线的斜率
$k$ 和$k'$ :$$k = \left| {\frac{{{y_2} - {y_4}}}{{{x_2} - {x_4}}}} \right|$$ (14) $$k' = \left| {\frac{{{{y'}_2} - {{y'}_4}}}{{{{x'}_2} - {{x'}_4}}}} \right|$$ (15) 则设置修正后的斜率
$k''$ 为:$$k'' = \min \left( {k,k'} \right)$$ (16) (2)以可见光图特征四边形的点
$\left( {{{x'}_4},{{y'}_4}} \right)$ 为起点,画一条直线L:$$L:y - {y'_4} = k''\left( {x - {{x'}_4}} \right)$$ (17) (3)代入
$x = {x'_2}$ ,得到$y = {y''_2}$ 。设立一个位移变量偏差值${D_y}$ ,使得:$${D_y} = \left| {{y_2} - {{y''}_2}} \right|$$ (18) 图6为位移变量偏差值的计算。
(4)对变换矩阵中的位移变量进行调整,点
$\left( {{x_2},{y_2}} \right)$ 对应的改进的单应性变换(Improved Homography Transformation, IHT )过程如下:$$\left( {\begin{array}{*{20}{c}} {{{x'}_2}} \\ {{{y'}_2}} \\ 1 \end{array}} \right) = \left[ {\begin{array}{*{20}{c}} {{a_{00}}}&{{a_{01}}}&{{t_x}} \\ {{a_{10}}}&{{a_{11}}}&{{t_y} - {D_y}} \\ {{v_1}}&{{v_2}}&s \end{array}} \right]\left( {\begin{array}{*{20}{c}} {{x_2}} \\ {{y_2}} \\ 1 \end{array}} \right)$$ (19) 实际上,当旋转角度足够小时,可直接在单应性矩阵求解过程中对指定顶点坐标进行调整:
$$\left( {\begin{array}{*{20}{c}} {{{x'}_2}} \\ {{{y'}_2}} \\ 1 \end{array}} \right) = \left[ {\begin{array}{*{20}{c}} {{a_{00}}}&{{a_{01}}}&{{t_x}} \\ {{a_{10}}}&{{a_{11}}}&{{t_y}} \\ {{v_1}}&{{v_2}}&s \end{array}} \right]\left( {\begin{array}{*{20}{c}} {{x_2}} \\ {{y_2} - {D_y}} \\ 1 \end{array}} \right)$$ (20) (5)同理,根据场景也可以设置
${t_x}$ 。针对该点可以列出变换函数:$$\begin{array}{l} \left[ {\begin{array}{*{20}{c}} {{a_{00}}}&{{a_{01}}}&{{t_x} - {D_x}} \\ {{a_{10}}}&{{a_{11}}}&{{t_y} - {D_y}} \\ {{v_1}}&{{v_2}}&s \end{array}} \right]\left( {\begin{array}{*{20}{c}} {{x_2}} \\ {{y_2}} \\ 1 \end{array}} \right) = \left( {\begin{array}{*{20}{c}} {{a_{00}}x + {a_{01}}{y_2} + {t_x} - {D_x}} \\ {{a_{10}}x + {a_{11}}{y_2} + {t_y} - {D_y}} \\ {{v_1}{x_2} + {v_2}{y_2} + s} \end{array}} \right) \Leftrightarrow \\ \left( {\begin{array}{*{20}{c}} {\dfrac{{{a_{00}}{x_2} + {a_{01}}{y_2} + {t_x} - {D_x}}}{{{v_1}x + {v_2}{y_2} + s}}} \\ {\dfrac{{{a_{10}}{x_2} + {a_{11}}{y_2} + {t_y} - {D_y}}}{{{v_1}{x_2} + {v_2}{y_2} + s}}} \end{array}} \right) \end{array}$$ (21) 这里使用归一化使s=1。所以变换矩阵有八个未知数,一组匹配点从
$\left( {{x_i},{y_i}} \right)$ 到$\left( {{{x'}_i},{{y'}_i}} \right)$ 对应有两个方程,只需要四组不共线的匹配点即可求出变换矩阵。 -
文中实验环境的配置为英特尔Core i5-8265U @ 1.60 GHz四核,8 G内存,开发平台为Visual Studio 2019和Opencv3.4.3。模拟在安检等体温检测的实际需求环境下,使用热像仪和普通摄像头,距离目标0.5~3 m,热像仪的焦距短于普通摄像头。所获得的热红外图分辨率为256×196,可见光图分辨率639×480,将可见光图缩小至热红外图大小。使用SURF检测算法提取特征点,筛选最优匹配特征点进行配准,得到的图像作为对照组进行分析。
-
实验一,相对于目标在同一视角下,目标距离两个传感器2 m,两个传感器的轴线平行,因为在远距离的复杂背景下配准难度大,下面先给出两对简单环境下的实例。
(1)第一组单人配准结果
图7为单人图像配准结果图,其中图7(a)和(c)为待配准的热红外图与可见光图,图7(b)和(d)为FCQ算法得到的特征轮廓四边形,筛选出的特征轮廓虽有差异,但外接四边形可避免这种差异对配准的影响。图7(e)为图7(a)经过改进的单应性变换得到的图,图7(f)为配准后的融合图,在视觉上几乎可以做到人像完全重合。在对照组中图7(g)和(h)分别为使用SURF检测算法提取特征点的热红外图和可见光图像,图7(i)为使用SURF特征点配准后的图像,图7(j)为融合图像,可以看到配准结果很不理想。
图 7 实验一第一组热红外图和可见光图配准结果
Figure 7. The first registration result of thermal infrared image and visible image in experiment 1
(2)第二组多人配准结果
图8为第二组多人配准结果,图像中内容多,获得的轮廓数量增加,此时适当调整图像分割参数
${S_p}$ 和${C_r}$ ,减小轮廓过滤时的阈值,以获得更多的特征轮廓。此时外接矩形的下边超出了图像的下边界,使用矩形左右两边上的轮廓点代替,输出四个点为图8(b)、(d)上的红色标点。图8(e)为图8(a)进行改进的单应性变换(IHT)得到的图,图8(f)为多人配准后的融合结果,重合度很高。图8(g)和(h)示出由于使用传统的单应性变换导致肉眼可见的偏差。图 8 实验一第二组热红外图和可见光图配准结果。(a)、(b) 热红外图和它的特征轮廓四边形;(c)、(d)可见光图和它的特征轮廓四边形;(e)、(f) FCQ算法应用了改进单应性变换的配准图和融合图;(g)、(h) FCQ算法应用传统单应性变换的配准图和融合图
Figure 8. The second group of thermal infrared image and visible image registration results in experiment 1. (a), (b) Thermal infrared image and its featured contour quadrilateral; (c), (d) Visible image and its featured contour quadrilateral; (e), (f) Registration graph and fusion graph of the FCQ algorithm using improved homography transformation; (g), (h) Registration graph and the fusion graph of FCQ algorithm applying traditional homography transformation
-
实验二,相对于目标在同一视角下,改变实验一中两个传感器的相对位置,物距缩小至1.5 m。在当前距离下,图像中周长最长,面积最大的轮廓是人体的躯干部分,其他对配准作用不大或造成干扰的轮廓被滤除,并且人体的核心温度也集中在头部和躯干部分,所以只保留躯干部分以上,对后面的温度检测也十分有利。加入复杂背景的样本进行研究,下面给出实验结果。
图9为实验二的融合结果。热红外图(图9(a))和可见光图(图9(b))存在背景干扰,图9(c)和(d)分别为图9(a)和图9(b)的特征轮廓四边形图,图9(e)和图9(f)为配准后融合的结果,图9(g)和(h)则是没有应用改进的单应性变换得到的结果,有明显可见的误差。但是在物距变小的情况下,该误差还是要小于实验一中的。FCQ算法可以在背景干扰下实现准确的配准融合,而使用SURF检测得到的对照组图像图9(i)~(l)图像,配准精度仍然不够理想。
-
实验三,目标仍然在同一视角下,当目标距离两个传感器0.8 m时,传感器间相对位置不变,传感器轴线依然平行。如图10(a)、(b)所示,过近的物距下图像中目标人像的内容更少,且热图像与可见光图像中的人像内容差距也更大,因此图10(d)中配准误差略大,但基本也可做到完全重合。
图 10 实验三热红外图和可见光图配准结果。(a)热红外图;(b)可见光图;(c)配准图;(d)融合图;(e)、(f)没有应用改进的单应性变换得到的结果
Figure 10. Registration result of thermal infrared image and visible image in experiment 3. (a) Thermal infrared image; (b) Visible image; (c) Registration image; (d) Fusion image; (e),(f) Registration graph and the fusion graph without applying the IHT
图10(g)~(j)为SURF对照组的实验结果,在平移量、缩放量等配准参数上都存在明显的偏差,配准效果不佳。
-
从图像中随机选取了20对点进行评估,采用均方根误差(RMSE)分析配准精度:
$${\rm{RMSE}} = \sqrt {\dfrac{{ \displaystyle\sum\limits_{i = 1}^{Num} {\left( {errorx_i^2 + errory_i^2} \right)} }}{{Num}}} $$ (22) 其中
$$error{x_i} = {x_i} \cdot s \cdot {a_{00}} + {y_i} \cdot s \cdot {a_{01}} + {t_x} - {x'_i}$$ (23) $$error{y_i} = - {x_i} \cdot s \cdot {a_{10}} + {y_i} \cdot s \cdot {a_{11}} + {t_y} - {y'_i}$$ (24) 式中:Num为选取点对的数目;
${a_{00}},{a_{01}},{a_{10}},{a_{11}},s,{t_x},{t_y}$ 均为配准参数。使用FCQ算法对三组数据进行实验,计算出单应性变换矩阵的八个参数,表1列举了主要参数。
表 1 实验中的配准矩阵参数
Table 1. Registration matrix parameters in experiments
${a_{00}}$ ${a_{11}}$ ${t_x}$ ${t_y}$ Experiment 1 0.884 0.827 31.652 -10.976 Experiment 2 0.805 6 0.894 1 38.047 13.425 Experiment 3 0.849 0.878 38.283 -21.244 分别计算文中FCQ算法和对比组SURF检测算法在上述实验中配准的MSE、RMSE值,同时引用参考文献[10]、[12]算法中的数据整理如表2所示。
表 2 三组实验以及对比组的MSE, RMSE
Table 2. MSE, RMSE of the three experiments and the comparison groups
Algorithms MSE RMSE SURF- experiment 1 6.033 3 FCQ-experiment 1 without IHT 3.073 7 FCQ-experiment 1 with IHT 1.520 3 1.233 0 SURF-experiment 2 9.273 6 FCQ-experiment 2 without IHT 2.240 0 FCQ-experiment 2 with IHT 1.144 4 1.069 8 SURF-Experiment 3 9.445 6 FCQ-experiment 3 without IHT 2.107 2 FCQ-experiment 3 with IHT 1.593 5 1.262 0 Ref. [10] 6.838 2 2.615 0 Ref. [12] 2.459 4 1.568 2 表2中对应用于SURF算法配准的对照组,误差动辄在10 pixel单元以上,均方根误差也远大于FCQ算法的,在此类异源图像配准过程中,特征点检测算法如SURF等的配准精度很难达到工程应用级别。FCQ算法进行配准实验时的均方根误差都控制在合理的范围内。FCQ算法在使用传统单应性变换时的均方根误差比较大,在物距由远到近变化时,位移变量偏移值越来越小,均方根误差也会越来越小。但在应用了文中的IHT后,在各个物距下的误差都大幅减小,精确度提升了一倍以上。相对而言,物距为0.8 m时的配准内容差异大,配准误差稍大,所以对两个传感器的位置要求更加苛刻。算法运行的最佳物距是1.5 m。
Registration of thermal infrared image and visible image based on featured contour quadrilateral
-
摘要: 热红外图与可见光图的融合分析在智能安防和故障检测中应用广泛。针对同一场景下两图像在融合过程中难以匹配的问题,提出了一种基于特征轮廓四边形的图像配准方法。首先通过分割算法分别对热红外图和可见光图进行过滤;再进行边缘轮廓点的检测和轮廓的重新绘制;然后通过算法筛选出特征轮廓并进行多边形近似,生成特征轮廓的外接四边形;将此四边形顶点代入改进的单应性变换模型计算参数,其中加入了位移变量偏差值可中和80%的误差;最后,通过单应性变换模型对热红外图进行变换配准。实验结果表明,该方法使轮廓定位更加精确,有效减少了匹配误差,能够实现图像的高精度快速配准。Abstract: The fusion analysis of thermal infrared image and visible image is widely used in intelligent security and fault detection. To solve the problem that it is difficult to match two images in the fusion process in the same scene, an image registration method based on featured contour quadrilateral was proposed. Firstly, the thermal infrared image and the visible image were filtered separately by segmentation algorithm. Secondly, the contour points were detected and the contour was redrawn. Then the featured contour was filtered out by the algorithm and the polygon was approximated, and the minimum circumscribed quadrilateral of all contours was generated. The vertexes of this quadrilateral was substituted to calculate the improved homography transformation parameters, and the deviation value of displacement variable was added to neutralize the error of 80%. Finally, the thermal infrared image was registered through the homography transformation model. The experimental results show that this method effectively reduces the matching error, makes the contour positioning more accurate, and can achieve high-precision and rapid image registration.
-
图 3 特征轮廓 。(a)、(d) 传统方式下进行的提取的热红外图和可见光图的轮廓;(b)、(e) 参考文献[10]中对轮廓进行了多边形逼近;(c)、(f) 文中FCQ算法所提取的特征轮廓
Figure 3. Featured contour. (a), (d) Contours of thermal infrared image and visible light image extracted by traditional method; (b), (e) Polygon approximation of contours in reference [10]; (c), (f) Featured contours extracted by proposed FCQ algorithm
图 8 实验一第二组热红外图和可见光图配准结果。(a)、(b) 热红外图和它的特征轮廓四边形;(c)、(d)可见光图和它的特征轮廓四边形;(e)、(f) FCQ算法应用了改进单应性变换的配准图和融合图;(g)、(h) FCQ算法应用传统单应性变换的配准图和融合图
Figure 8. The second group of thermal infrared image and visible image registration results in experiment 1. (a), (b) Thermal infrared image and its featured contour quadrilateral; (c), (d) Visible image and its featured contour quadrilateral; (e), (f) Registration graph and fusion graph of the FCQ algorithm using improved homography transformation; (g), (h) Registration graph and the fusion graph of FCQ algorithm applying traditional homography transformation
图 10 实验三热红外图和可见光图配准结果。(a)热红外图;(b)可见光图;(c)配准图;(d)融合图;(e)、(f)没有应用改进的单应性变换得到的结果
Figure 10. Registration result of thermal infrared image and visible image in experiment 3. (a) Thermal infrared image; (b) Visible image; (c) Registration image; (d) Fusion image; (e),(f) Registration graph and the fusion graph without applying the IHT
表 1 实验中的配准矩阵参数
Table 1. Registration matrix parameters in experiments
${a_{00}}$ ${a_{11}}$ ${t_x}$ ${t_y}$ Experiment 1 0.884 0.827 31.652 -10.976 Experiment 2 0.805 6 0.894 1 38.047 13.425 Experiment 3 0.849 0.878 38.283 -21.244 表 2 三组实验以及对比组的MSE, RMSE
Table 2. MSE, RMSE of the three experiments and the comparison groups
Algorithms MSE RMSE SURF- experiment 1 6.033 3 FCQ-experiment 1 without IHT 3.073 7 FCQ-experiment 1 with IHT 1.520 3 1.233 0 SURF-experiment 2 9.273 6 FCQ-experiment 2 without IHT 2.240 0 FCQ-experiment 2 with IHT 1.144 4 1.069 8 SURF-Experiment 3 9.445 6 FCQ-experiment 3 without IHT 2.107 2 FCQ-experiment 3 with IHT 1.593 5 1.262 0 Ref. [10] 6.838 2 2.615 0 Ref. [12] 2.459 4 1.568 2 -
[1] Lv B L, Tong S F, Xu W, et al. Non-uniformity correction of airborne infrared detection system based on inter-frame registration [J]. Chinese Optics, 2020, 13(5): 1124-1137. (in Chinese) doi: 10.37188/CO.2020-0109 [2] Shi Guojun. Target recognition method of infrared imagery via joint representation of deep features [J]. Infrared and Laser Engineering, 2021, 50(3): 20200399. (in Chinese) doi: 10.3788/IRLA20200399 [3] Liu X N, Di H Z, Yang W, et al. Mosaic of cultural relics fragments based on SURF extraction descriptor and Jacquard distance [J]. Optics and Precision Engineering, 2020, 28(4): 963-972. (in Chinese) [4] Wei H, Zhang K, Zheng L, et al. Infrared image target detection of power inspection based on HOG-RCNN [J]. Infrared and Laser Engineering, 2020, 49(S2): 20200411. (in Chinese) [5] Liu X, Chen S, Zhuo, L, et al. Multi-sensor image registration by combining local self-similarity matching and mutual information [J]. Frontiers of Earth Science, 2018, 12: 779-790. [6] Bao W X, Sang Sier, Shen X F. Remote sensing image registration algorithm based on information entropy constraint and KAZE feature extraction [J]. Optics and Precision Engineering, 2020, 28(8): 1810-1819. (in Chinese) doi: 10.3788/OPE.20202808.1810 [7] Dai J D, Chen Y H, Liu Y D, et al. Registration method of infrared and visible images of electrical equipment based on characteristic quadrilateral [J]. Electrical Automation, 2018, 40(6): 112-115. (in Chinese) [8] Yuan H Q, Li Y, W J Y, et al. High precision detection technology of pedestrian face temperature based on infrared thermal image [J]. Infrared Technology, 2019, 41(12): 1181-1186. (in Chinese) [9] Xu J X, Li Q W, Ma Y P, et al. Infrared and visible image registration method for electrical equipment based on slope consistency [J]. Journal of Optoelectronics·Laser, 2017, 28(7): 794-802. (in Chinese) [10] Chakravorty Tanushri, Guillaume-Alexandre Bilodeau, Granger Eric. Automatic image registration in infrared-visible videos using polygon vertices [J]. arXiv, 2014: 1403.4232. [11] Tian T, Mei X G, Yu Y, et al. Automatic visible and infrared face registration based on silhouette matching and robust transformation estimation [J]. Infrared Physics & Technology, 2015, 69: 145-154. [12] Jian B L, Chen C L, Lin C J, et al. Optimization method of IR thermography facial image registration [J]. IEEE Access, 2019, 7: 93501-93510. doi: 10.1109/ACCESS.2019.2927747 [13] Teh C H, Chin R T. On the detection of dominant points on digital curves [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1989, 11(8): 859-872. doi: 10.1109/34.31447