红外弱小目标检测是目前计算机视觉领域一项非常重要的研究内容，广泛应用于红外检测与跟踪系统、精确制导、空间目标监视系统、预警系统等众多领域^[1]。近年来，红外弱小目标检测领域取得了较大的进展，但在机载空地动态应用场景下，如何将弱小目标与复杂背景分离仍然面临诸多挑战和困难，主要原因有：(1)目标尺寸小，由于飞行器距离目标通常在上千米，目标在图像中仅占据几个像素，缺少形状、纹理和结构等细节信息；(2)信噪比低，红外弱小目标亮度较弱，通常淹没在低信噪比的复杂背景中，极难分辨；(3)背景复杂，地面背景中通常包含不同类型的干扰，如强边缘、亮斑、高亮背景和噪声；(4)目标机动，弱小目标通常在做无规则机动，且飞行器的运动也会导致图像中场景的运动。因此，空地动态场景下的红外弱小移动目标检测仍然是计算机视觉领域一项极为挑战的研究课题。

目前，红外弱小目标检测算法大致分为两类：基于单帧图像的检测算法和基于序列图像的检测算法。基于单帧图像的检测算法利用弱小目标在空间分布上的局部奇异性来增强目标，典型的增强模型包括小面模型^[2]、人类视觉系统(HVS)^[3]、稀疏表示^[4]、低秩矩阵复原^[5]、深度学习^[6]等方法。这类方法通常在背景较为平稳的情况下能取得较好的结果。但是上述方法仅仅利用弱小目标的灰度奇异特性，而忽视弱小目标的运动特性，因此对于空地强干扰背景的检测，此类方法的检测性能会大幅下降。基于序列图像的检测算法充分利用了弱小目标在连续多帧图像的空间域特性和时间域特性，综合利用空间奇异性和时间运动性来进行目标检测和背景抑制。这类方法主要包括估计背景^[7-8]、分离候选轨迹^[9]、构造张量模型^[10]等，虽然在一定程度上提高了复杂场景下检测的鲁棒性，但其计算复杂和参数较多的缺点仍然限制了其在实际工程中的应用。

对于捷联飞行器来说，飞行器和机载传感器相固连，飞行器的运动会直接导致图像中场景的变化^[11]。由于空地背景干扰较强、飞行器运动不规则等因素，传统检测方法的性能大大受限。考虑到大多数飞行器都配备了捷联惯性导航系统(INS)，可以提供相对准确的位置和姿态信息^[12]，使得惯性信息和图像信息的融合已在许多领域得到广泛应用，如导航^[13]、图像匹配^[14]、制导^[15]和目标跟踪^[16]。Meng等^[15]利用机载视觉系统检测目标，并通过整合视觉和惯导信息建立了稳定的着陆引导系统。Zhang等^[14]提出了一种新的基于视觉惯导融合的真实图像和合成图像匹配算法，实现了系统在GPS失效和低能见度条件下的准确匹配。Yan等^[11]提出了一种用于飞机目标匹配系统的INS辅助模板校正算法。但是，这些算法的模型建立都需要精确的惯导信息，一旦惯导信息存在较大偏差（如惯导漂移误差等），算法的性能会急剧下降。考虑到惯导信息的漂移方向具有一致性的特点，可以利用增量惯导信息来进行建模，从而提高模型的精度。

基于以上分析，文中提出了一种基于增量惯导信息辅助的红外弱小移动目标检测算法，实现了高动态场景下空地红外目标的有效检测。首先，设计了一种基于增量惯导信息的位置预测模型，将两帧图像目标点的运动模型通过比例、姿态和视角变化进行建模，解决了传统模型由于惯导漂移引起预测精度下降的问题；然后，构建了一种基于背景差分的移动目标检测框架，通过增量惯导信息实现了不同位姿下的图像校正，引入基于爬山法互相关匹配算法计算校正后序列图像的平移参数，并采用高斯加权对背景图像进行估计；最后，通过对差分图像进行阈值分割检测弱小移动目标。仿真实验验证了文中检测算法的有效性和精确性。

利用惯导信息对摄像机的运动进行建模。目前基于惯导信息的预测算法大都利用当前帧的惯导数据与目标点之间的空间关系。惯导系统的输出误差会随时间累计，时间越长，惯导系统的漂移越大，利用惯导信息进行位置预测的误差就越大。但是，惯导系统漂移的方向具有一致性，惯导信息的增量漂移误差很小，因此，利用连续帧之间的增量惯导信息建立模型便可以有效地消除漂移误差。

为此，文中提出了增量惯导信息概念，设计了一种基于增量惯导信息的位置预测模型（Location Prediction based on the Incremental INS，LPI）。利用两帧图像之间的姿态信息和位置信息，将两帧图像之间相同目标点的对应像素关系通过比例变化、姿态变化和视角变化建模，有效消除了惯导偏移引起的误差。

对于捷联成像飞行系统，摄像机与飞行器固连，飞行器的运动会直接引起图像中场景的运动。如图1所示，若空间中目标点$p$的位置为$p{o_t} = \left[ {{\lambda _t},{L_t},{h_t}} \right]$。设${t_1}$时刻摄像机坐标系的原点为摄像机的光心${O_{c1}}$，捷联后与飞行器重合，其${x_{c1}},{y_{c1}},{z_{c1}}$轴分别为滚动轴、偏航轴和俯仰轴。为避免姿态角奇点对余弦矩阵的影响，${t_1}$时刻飞行器的姿态用四元素表示为${q^1} = \left[ {q_0^1,q_1^1,q_2^1,q_3^1} \right]$，飞行器的位置表示为$p{o_1} = \left[ {{\lambda _1},{L_1},{h_1}} \right]$。同样的，${t_2}$时刻飞行器的位置信息为$p{o_2} = \left[ {{\lambda _2},{L_2},{h_2}} \right]$，姿态信息为${q^2} = \left[ {q_0^2,q_1^2,q_2^2,q_3^2} \right]$。

图  1  同一目标点在不同位姿下的成像

Figure 1.  The imaging of the same target point in different pose

由于连续帧之间的时间间隔较短，可以假设两帧图像具有相同的地理系。因此，对于目标点$p$，可根据在${t_1}$时刻的摄像机坐标系的成像位置$\left( {{u_1},{v_1}} \right)$经过相同的地理系转换，准确地计算出在${t_2}$时刻摄像机坐标系下的成像位置$\left( {{u_2},{v_2}} \right)$。

基于以上分析，将两帧中飞行器运动所引起图像目标点的变化模型转化为比例变化模型、姿态变化模型和视角变化模型三个部分。

（1）比例变化模型

飞行器和目标之间距离的变化反映着图像上尺度的缩放。因此，可以通过飞行器与目标的距离来对图像的比例参数进行建模。首先计算${t_1}$时刻飞行器$p{o_1}$和目标点$p{o_t}$对应的卯酉圈和子午圈半径：

式中：${a_e}$、${b_e}$分别为地球椭球半径。那么$p{o_1}$和$p{o_t}$在地心系下的坐标为$E\left( {p{o_1}} \right)$和$E\left( {p{o_t}} \right)$，计算公式为：

两者相减得到对应的视线方向$\overrightarrow {p{o_t}p{o_1}} $的投影：

则$p{o_1}$和$p{o_t}$的空间距离可以表示为：

同理，可以得到$p{o_2}$和$p{o_t}$的空间距离：

则${t_2}$时刻图像相比${t_1}$时刻图像的比例变化为：

（2）姿态变化模型

目标点的成像位置会随着飞行器姿态的改变而对应改变，因此，在假设两帧图像具有相同地理系的条件下，可以通过空间坐标系的转换建立姿态变化模型。根据${t_1}$时刻图像坐标系下的位置$\left( {{u_1},{v_1}} \right)$，得到成像平面坐标系的坐标$\left( { - {u_1} + {U_0},{v_1} - {V_0}} \right)$，其中$\left( {{U_0},{V_0}} \right)$为成像平面坐标系的原点$O$在图像坐标系下的坐标。根据摄像机的焦距$f$(或者称为空间分辨率，单位：pixel)可以得到视线在摄像机系(飞行器系)下的坐标为：

考虑到摄像机在水平方向焦距${f_v}$与垂直方向焦距${f_u}$一般大小不同，统一换算到${f_v}$分辨率下飞行器系坐标，记为：

同理，根据坐标转换，${t_2}$时刻待求的位置$\left( {{u_2},{v_2}} \right)$在飞行器系下的坐标为：

根据${t_1}$时刻的四元素${q^1} = \left[ {q_0^1,q_1^1,q_2^1,q_3^1} \right]$，可以计算飞行器系到地理系的转换矩阵：

根据${t_2}$时刻的四元素${q^2} = \left[ {q_0^2,q_1^2,q_2^2,q_3^2} \right]$，可以计算地理系到${t_2}$时刻飞行器系的转换矩阵：

那么，可以得到视线在${t_2}$时刻飞行器系的三个分量：

根据飞行器系坐标系和焦距的定义，这三个分量与${t_2}$时刻待求位置$\left( {{u_2},{v_2}} \right)$的飞行器系下的坐标成比例：

上式的解可写为：

由于比例模型为成像平面坐标系下图像的比例参数，为此，在成像平面下定义两帧之间像素点的姿态模型为：

（3）视角变化模型

飞行器位置的变化还体现了两帧之间飞行器和目标视角的变化。为此，可以根据飞行器之间的空间位置关系建立视角变化模型。根据公式(3)可以得出$p{o_1}$和$p{o_2}$在地心系下的坐标为$E\left( {p{o_1}} \right)$和$E\left( {p{o_2}} \right)$，两者相减得到对应的视角变化矢量$\overrightarrow {p{o_1}p{o_2}} $的投影：

从地心系到地理系的转换矩阵可以表示为：

根据公式(13)中从地理系到${t_2}$时刻飞行器系的转换矩阵$R_n^{{b_2}}$，可以得到视角变化矢量在飞行器系下的三个分量：

式中：$\Delta {t_y}$和$\Delta {t_z}$分别表示在飞行器坐标系下垂直方向和水平方向的增量，m。由于$\Delta {t_x}$表示景深的变化量，无法与成像平面坐标系像素进行对应。用${t_2}$时刻的弹目距离$dis\left( {p{o_2},p{o_t}} \right)$进行替代，则焦距和像素的对应关系为：

可以得出视角变化模型为：

（4） LPI模型

综上所述，可以得到最终的变化模型为：

化简可以得到：

基于增量惯导信息的位置预测模型可实现对场景变化的准确建模，结合弱小目标的灰度奇异性和时间运动性，文中提出了一种增量惯导信息辅助的空地红外弱小移动目标检测算法，实现了对高动态条件下目标的可靠检测，算法的步骤包括：(1)利用增量惯导信息把相关历史图像校正到当前帧对应飞行器位姿下的成像；(2)利用相关算法计算历史图像与当前帧的平移参数；(3)通过高斯加权对校正后的图像背景建模；(4)采用最大类间方差法对差值图像进行阈值分割，检测移动目标。

假设当前帧为图像的第$n$帧，利用增量惯导信息的预测模型对前$m$帧图像的每个像素进行预测，校正到当前帧姿态下的成像，然后再通过计算平移参数得到精确的图像配准信息，为后续的背景估计提供基准。图2为校正某一帧实时图的结果，图2(a)为当前时刻(第10帧)的实时图，图2(b)为第8帧的图像，图2(c)为将第8帧图像校正到当前帧飞行器姿态下的图像。

图  2  LPI模型对某帧的校正结果

Figure 2.  Correction result of a frame by LPI

通过选择兴趣区域，采用归一化积相关算法计算平移参数，实现两帧图像的精确配准。根据跟踪波门的限制，选择的兴趣区域R应该同样存在于前9帧的绝大多数帧中。如图3所示，图3(a)为当前帧，选择在中心区域截取一个101×101的区域作为兴趣区域（红色边框内区域）。对于第n帧兴趣区域与校正后的第n−1帧相关匹配，对n−1帧的搜索区域选择为第n帧兴趣区域中心点周围33×33的范围内。如图3(a)所示，蓝色边框内区域表示搜索范围，而红色边框内为兴趣区域。图3(b)表示所有33×33次相关运算的相关系数曲面，通过求解最大值便可得到平移参数。

图  3  搜索范围和相关曲面

Figure 3.  Search region and corresponding surface

如果整视场搜索，会有1089次的相关计算，计算量相对较大。为了尽可能缩短匹配时间，文中采用爬山法的搜索策略，等间隔设置爬山者的起始点，爬山方向为上、下、左、右四个方向，如图3(c)所示，在搜索区域等间距的设置了9个爬山者，并通过不同的表示方式显示了9个爬山者的爬行轨迹，红色的五角星表示最终计算得到的匹配位置。可以看出，爬山法大幅提升了搜索速度，只进行了137次相关运算就找到了局部极值。由于感兴趣区域显著大于爬山间隔，爬山法得到的局部极值就是全局最优值。

通过基于爬山的互相关匹配算法找到了n−1帧和n帧的平移参数，那么对于n−2帧的互相关匹配运算，其搜索范围中心就设定n−1帧的匹配位置，然后在周围选择33×33作为搜索范围。依此类推，通过爬山法的互相关匹配算法便可以得到前m帧相对于当前帧的平移参数。

为解决飞行器运动带来构建背景模型困难的问题，文中将实时对背景进行估计和建模。一般利用前m(m=9)帧来估计当前帧的背景。如果以当前帧的左上角为坐标原点，按照平移参数将前m帧转换至当前帧的坐标，并截取当前帧相同大小的区域来进行背景估计。图4列出了其中3帧的结果。可以看出，图像中的每个像素位置都是一一对应的，可以通过这些图像准确地估计背景。

图  4  历史图像校正到当前帧的结果

Figure 4.  Results of correcting the historical images to the current frame

图5为(87，68)和(200，180)两点(位置在图4中用十字标出)在前9帧和当前帧的灰度值分布。可以看出，如果有弱小移动目标经过该像素点，该像素点的灰度有较大的变化。文中采用一种高斯加权的方法来进行背景估计。若某帧的$\left| {I\left( {x,y} \right) - average} \right| \gt T$，表明目标经过了该像素点，就用均值average来替代这帧中该像素点的灰度值。考虑到飞行器运动过程中整个图像的灰度值会发生变化，设计的高斯加权策略为越靠近当前帧，其权值越大。图6给出了高斯加权曲线和最后估计的背景图像。

图  5  灰度分布曲线

Figure 5.  Gray distribution curve

图  6  基于高斯加权的背景估计

Figure 6.  Background estimation based on Gaussian weighting

对当前帧与估计背景的差分图像进行阈值分割，便可以有效检测出弱小移动目标。采用经典的OSTU算法，阈值可表示为：

取${d_B}$最大时对应的阈值$u$便为最优的分割阈值。

为验证算法的有效性，对两组含惯导数据的红外图像序列进行弱小目标检测。目标为公路上一辆行驶的汽车，序列1是分辨率为241×241的场景相对较暗的红外图像序列，序列2是分辨率为241×241的场景相对较亮的红外图像序列。实验采用前m=9帧来估计当前帧的背景。假设图像区域像素点位于同一高度，在爬山法的互相关算法求平移参数中，兴趣区域为当前帧中心区域101×101的矩形区域，其搜索区域为33×33，初始爬山者设置为等间距的9个爬山者；采用均值对灰度值滤波的阈值T=25，高斯加权系数的标准$\sigma = 3$。

图7(a)给出了图像序列1中的第15、25、30、35帧图像；图7(b)为文中算法对上面4幅测试图像估计的背景图像；图7(c)为差分图像的三维灰度曲面；图7(d)为最后的分割结果。从结果可以看出，即使地面背景包含了大量不连续的斑点和高亮度区域，文中算法也能准确地检测出弱小目标。从差分图像的三维灰度图可以看出，因为对背景进行了准确估计，差分后大部分背景得到了抑制，通过简单的阈值分割便将红外弱小目标精准地检测出来。

图  7  文中算法对视频序列1的检测结果

Figure 7.  Detection results of the proposed algorithm for video sequence 1

图8给出了算法对图像序列2第20、30、35、40帧图像的测试结果。对于存在大量高亮度背景的图像序列，该算法依旧能够很好地检测弱小移动目标。同时，在图像的边界存在较大的干扰，原因是图像的校正有部分区域超出了图像的大小，在进行背景估计时通过用灰度0值替代，造成了一定的估计误差。如果目标在运动过程中保持信息完整，后续可以结合连续帧之间的位置相关性来进一步减少虚警。

图  8  文中算法对视频序列2的检测结果

Figure 8.  Detection results of the proposed algorithm for video sequence 2

图9给出了文中算法对图像序列1和图像序列2中目标的跟踪轨迹和跟踪误差曲线。由于目标为一辆沿公路大致匀速直线行驶的汽车，其运动轨迹在统一的图像坐标下(全景图)应该为一条直线。图9(a)将起始跟踪帧(第10帧)目标的真实位置设为坐标原点，可以看出，文中算法能够在复杂的场景中精准地跟踪弱小目标，跟踪性能较好。图9(b)分析了跟踪误差曲线，其中误差表示分割目标区域的形心与真实目标的像素距离，可以看出，该算法在处理这两个图像序列时平均误差仅有0.63 pixel，跟踪精度较高，且具有一定的鲁棒性。

图  9  文中算法的跟踪性能

Figure 9.  Tracking performance of the proposed algorithm

文中提出了一种基于增量惯导信息辅助的空地红外弱小移动目标检测算法，提出了增量惯导信息概念，将增量惯导信息与图像信息进行融合来解决红外弱小移动目标检测问题。通过增量惯导信息实现对图像的有效校正，并利用基于爬山法的互相关匹配算法实现对校正图像平移参数的快速计算，然后通过高斯加权实现背景估计，最后利用阈值分割检测运动目标。仿真实验结果表明，文中算法在高动态复杂地面场景下实现了对红外弱小移动目标的有效检测，体现了良好的检测性能。