Highly dynamic aerial polymorphic target detection method based on deep spatial-temporal feature fusion (Invited)

传统空中红外目标检测方法^[1-4]主要利用滤波、噪声抑制、目标增强等方式提高背景与目标的对比度，进而通过阈值分割实现目标检测；深度学习方法^[5-8]利用深层卷积网络提取输入红外图像的空间特征，预测空中目标的类别和位置。然而在高超声速飞行器制导控制领域，由于复杂的战场背景以及高动态条件，利用空间特征信息的目标检测方法无法对高速运动的空中目标进行有效识别和跟踪。对时空多维深度特征信息进行融合，利用空间网络处理静态信息，利用时间网络处理动态信息，可以大大提高空中高动态目标的识别准确率，是提升高超声速飞行器制导作战性能的一种有效方式。

为了将时域信息与空域信息融合，基于双流法、3D卷积结构（3D convolution，conv3D）和长短时记忆（Long Short Term Memory，LSTM）网络的视频特征提取架构陆续被提出。Simonyan K等^[9]首次提出了双流法，对RGB图像的空间流（Spatial Flow）和采用稠密光流图的时域运动流（Temporal Motion Flow）两路输入流分别处理，再进行结果融合，实现行为识别任务。Zhang等^[10]针对双流网络对时序依赖较大的问题，提出一种基于改进双流时空网络的人体行为识别算法，增强网络的特征表达能力，以提高对时序主导行为的识别能力。Donahue J等^[11]结合2D卷积和LSTM结构，首先使用2D卷积对图像进行特征提取，获得一个视觉特征的序列，然后将特征序列直接输入到LSTM中，进一步挖掘上下文信息。Ji S等^[12]将3D卷积用于视频分析领域，但仅在浅层使用3D卷积，且使用了手工方式提取图像的灰度、梯度等信息，无法对视频进行实时处理。I3D^[13]（Inflated 3D ConvNet）将3D卷积引入双流框架，利用稠密光流对图像中所有点逐一匹配，形成光流场。该方法具有良好的视频目标检测准确率，但计算量过大。

文中通过采用关键点匹配的方式，以稀疏光流替代稠密光流，利用3D卷积提取视频的动态特征；同时，设计了引入可切换空洞卷积^[14]（Switchable Atrous Convolution，SAC）的双向循环特征金字塔结构^[15]提取图像静态空间特征，与时域动态特征融合，实现对高动态空中多形态目标的实时高准确率检测。

文中基于行为识别任务中经典的双流法思路设计空时域特征融合网络，实现了复杂背景下高动态红外空中多形态目标的智能检测识别。网络主体可分为两“流”，即图像静态特征流和时序光流图，总体网络结构如图1所示。

Figure 1.  Deep spatial-temporal feature fusion detection network

其中，红外图像的静态多形态特征以加权双向循环特征金字塔为主体框架进行提取，同时引入可切换空洞卷积替代普通卷积，增大感受野的同时减少空域信息损失。在时域特征流方面，首先通过特征点匹配法生成运动区域的掩膜，集中目标特征，然后利用LK（Lucas-Kanade）金字塔结构^[15]进行光流计算，并根据计算结果设计二维LK稀疏光流特征图，最后利用3D卷积提取多个连续帧图像中包含的时序特征，生成三维时序运动特征图。文中对静态空间特征和三维时序运动特征分别进行单通道卷积操作，在通道维度进行拼接，从而实现特征图通道之间的信息融合，得到时空融合特征图，完成对高动态空中红外目标的检测识别。

高超声速飞行器对空中目标探测过程中，目标的尺度会在短时间内发生大幅度变化，如何对多尺度、多形态目标特征进行提取与预测十分关键。因此，文中设计加权双向循环特征金字塔结构用来预测空中目标多形态特征，同时引入可切换空洞卷积替代普通卷积，增大感受野的同时减少空域信息损失。加权双向循环特征金字塔结构如图2所示，左侧主干结构均采用空洞卷积生成不同尺度的特征图，右侧的双向特征金字塔模块用来融合多层特征。

Figure 2.  Weighted bidirectional cyclic feature pyramid network

为提高模型效率，文中在原始特征金字塔上做了几点优化：

(1) 删除只有一个输入边的节点，因为只有一个输入边的节点没有进行特征融合，其对网络贡献较小，删除该节点则可简化网络，减小计算复杂度；

(2) 对处于同一层的输入与输出节点，添加一条额外的连接，在不增加计算成本的情况下融合更多特征；

(3) 构建双向特征融合路径，两条路径为一组，重复多次以实现更多高级特征融合。

同时，为了在不增加计算复杂度的情况下有效获取多尺度感受野，文中在主干网络中引入空洞卷积模块。一个空洞卷积模块由两个全局上下文模块和一个空洞卷积组件构成，同时设置了空洞率r=3的空洞卷积与r=1的常规卷积，对漏掉的像素点可使用标准卷积进行填补。空洞卷积模块的整体结构如图3所示。

可切换空洞卷积模块中的卷积操作可表示为y^out=Conv(x,w,r)，其中x表示输入特征图，w表示权重，与特征金字塔结构中使用的权重值保持一致，则完整的SAC组件可表示为S(x)·Conv(x,w,1)+(1-S(x))·Conv(x,w+Δw,r)。其中，变换函数S(x)由一个5×5的平均池化和一个1×1的卷积层构成，空洞率r默认设置为3，卷积操作Conv(x,w,1)和Conv(x,w+Δw,r)采用锁定机制共享权重w。将普通卷积转换为空洞卷积时，有更大空洞率的卷积权重就会丢失，所以对于空洞率为r的卷积层增加额外的可训练权重Δw。

Figure 3.  Switchable atrous convolution module

传统基于逐点匹配的稠密光流法计算量过大，在高超声速飞行器制导控制这一应用场景下，难以满足高实时性的需求。基于此考虑，文中采用特征点匹配的方法提取空中目标的角点信息，抑制静态背景噪声，将特征集中在运动区域中，生成掩膜图像。之后利用LK金字塔计算高动态目标的光流信息，并根据计算结果设计二维稀疏光流特征图，最后应用3D卷积提取时序特征。

目标的角点位于目标边缘的交点处，在角点处任意方向上的微小移动都会导致梯度方向和幅值的大幅变化，因此，采用特征角点匹配的方法可以在减少计算量的同时有效替代基于逐个像素点匹配的稠密光流法。面向高动态空中目标检测场景时，由于背景复杂，真实目标角点信息会被淹没在大量的虚假目标角点中，从而降低特征角点提取的准确性。文中在Shi-Tomasi角点提取法^[16]的基础上通过图像掩模筛选出运动物体，使特征角点汇聚到运动区域上，避免大量错误计算，提升特征角点提取的效率。

获取图像掩模首先需计算连续两帧视频序列图像I_t−1和I_t的帧间差分：

式中：(x,y)为图像中像素坐标；D_t(x,y)为帧间差分图。

为方便后续计算，且为了尽可能在保留空中运动目标区域的同时筛去非运动区域目标，即噪声区域，文中设置了一个较大的阈值λ，对帧间差分图进行二值化处理：

式中：B_t(x,y)为二值化后的帧间差分图。由于阈值λ设置较大，为避免将真实目标错误掩盖，文中对B_t(x,y)求局部最大值：

其中，M_t为最终生成的图像掩模，滤波核大小为(2k+1)×(2k+1)。

光流法广泛应用于连续帧图像目标检测任务中，核心思想是对于t时刻图像上的像素点I(x,y)，找到t+1时刻该像素点在各个方向的位移量。在高动态场景中，LK光流法的时间连续假设不再成立。基于此，文中应用LK金字塔结构对高动态运动目标光流进行处理，如图4所示。

当像素点高速运动时，对图像进行金字塔分层，每次将图像缩放为原始大小的一半，将分辨率高的图像置于金字塔底层，分辨率低的图像置于金字塔顶层。图像缩放的目的主要是减少像素的位移，从而使得LK光流法的时间连续假设得以满足。算法首先对顶层图像进行计算，将结果作为初始值传递至下一层，下一层的图像在此基础上计算光流和前后两帧间的仿射变化矩阵，再依次将这一层的光流和仿射矩阵继续向下传递，直至传递到最底层的原始图像层。通过自顶向下的迭代计算可实现对高速运动目标的光流求解，并根据计算结果设计二维稀疏光流特征图。

Figure 4.  Pyramid LK optical flow

在二维光流特征图的基础上，文中利用如图5所示的3D卷积模块对特征图进行卷积运算，提取目标动态时序特征。

Figure 5.  3D convolution module

每组卷积模块由3D卷积算子、批量归一化（Batch Normalization，BN）层和ELU（Exponential Linear Units）激活函数组成。其中，BN层在训练时对每个batch中特征图的每个通道进行0均值、l标准差的归一化，ELU激活函数能够使得神经元的平均激活值趋近于0，并且对噪声更具有鲁棒性，有利于提取高动态目标特征。

依靠高超声速飞行器搭载的红外探测器探测目标时，由于相对速度很大，目标在短时间内会发生较大位移，同时大小、形态明显变化。由于条件限制，实验室无法利用高超声速飞行器对空中红外目标进行实时检测。基于此考虑，文中构建了一个包含1500张大小为640×512的常速运动红外无人机（UAV）连续帧图像序列，并选取多帧间隔、包含多尺度、多形态目标图像作为实验测试集，背景包括建筑、树木、云朵等，以模拟复杂背景空中目标检测场景。为验证文中方法的有效性，选取了三组测试集中包含建筑、空中飞鸟（点噪声）、云层等干扰的连续帧图像进行对比实验，对比算法包括C3D^[17]、TSN^[18]、ECO^[19]、3DLocalCNN^[20]、TAda^[21]。

文中根据识别准确率、实时性和计算资源评估算法性能，如表1所示。其中识别准确率Accuracy=(TP+TN)/(TP+TN+FP+FN)，即所有正确预测为正样本的数据与正确预测为负样本的数据数量占总样本的比值；算法实时性指标FPS（Frames Per Second）表示网络每秒可处理图像帧数；算法运行占用资源Run memory以GB（Gigabyte）计算。

结合对连续帧图像的识别结果以及表1可以看出，TSN、ECO、3DLocalCNN、TADa四种方法可以较好地识别无人机目标，但存在对空中点噪声以及云层背景的大量误检，虚警率很高；C3D方法对于背景噪声的抑制较好，但无法对连续帧图像中的目标实时跟踪，存在丢帧的现象，识别准确率低。文中提出的基于深度空时域特征融合的目标识别方法能够有效抑制复杂背景中的噪声信息，大幅降低虚警率；保持实时性的同时目标识别准确率达到了89.87%，优于现有基于时空域特征融合的目标识别算法。

为验证所提出的基于深度学习的目标识别方法相比传统方法的优势，选取PSTNN^[1]、NRAM^[2]、TDLMS^[3]和Top-hat^[4]四种传统方法对图6中的三组连续帧图像进行测试，实验结果如图7所示。

Figure 6.  Comparison of target recognition results of UAV in three consecutive frames

Figure 7.  Comparison of UAV target recognition results by traditional methods

由传统方法无人机目标识别结果可以看出，PSTNN误检较少，但只能滤出无人机发动机、旋翼等高温位置，无法整体检出目标，当目标与背景重叠时目标检测效果差；NRAM同样无法整体检测出无人机目标，且当背景中存在大量高温物体时，检测效果差；TDMLS能以较高准确率提取出运动目标，但存在明显的运动轨迹，影响识别效果；Top-hat能将目标准确滤出，但存在大量误检，虚警率过高。

以上对时空域融合方法与传统方法的分析证明了文中方法在高超声速飞行器制导场景中的有效性，满足高动态下红外目标智能检测识别的需求。

文中针对在复杂背景下对高动态空中红外目标智能检测识别的需求，设计并实现了基于深度空时域特征融合的高动态空中多形态目标检测方法，通过分析典型空时域融合算法与基于噪声抑制、目标增强的传统方法对红外空中目标的识别结果，证明文中方法可有效对复杂背景噪声进行抑制并提取高动态目标特征，对空中红外目标检测准确率达到89.87%，同时具有较快的检测速度。