Design and implementation of intelligent UAV intrusion detection, tracking and interception system

近年来，无人机相关的技术体系逐渐成熟，民用无人机领域得到快速发展，功能丰富的无人机设备广泛用于航空拍摄、农业植保^[1]、无人机物流^[2]等领域。但是，无人机行业迅猛发展的同时也给公共社会安全带来了极大的隐患^[3-4]。近年来“黑飞”事件时有发生，甚至还有不法分子利用无人机从事违法犯罪活动，严重影响社会的稳定和人民生命财产安全。研究一个有效的反无人机系统在保卫国家安全、维护公共秩序、守护公民生命财产等方面都具有重要意义。

反无人机技术一般从雷达、声音、图像、射频四个方面开展^[5]。雷达检测定位无人机非常有效，但在拥挤的城市地区不适用^[6-7]。基于声音的检测方法部署较为简单，能同时实现无人机的检测和定位，但易受到环境噪音的影响^[8-9]。基于射频的方法易受到环境的干扰，且成本较高^[10]。

随着人工智能技术的快速发展，实现无人机检测识别的方法呈现多样化，为文中对无人机识别的研究提供了新的思路。黄湘鹏等人提出一种基于深度学习的无人机识别方法，能在无人机识别正确率达到87%的同时过滤掉60%的飞鸟目标^[11]。薛珊等人提出一种基于卷积神经网络的图像识别无人机方法，识别无人机准确率达到95.9%^[12]。杨勇等人提出了一种时频检测与极化匹配相结合地双极化雷达无人机检测方法，能够有效检测出无人机，消除杂波虚警^[13]。Chuanyun Wang 等人提出了一种基于高斯混合背景建模的飞行小目标检测方法，采用感知域和局部图像的低秩稀疏矩阵分解，将有限时间段内的候选补丁分离为背景图像和目标图像，通过阈值分割在分离的目标图像上实现了飞行小目标检测^[14]。陶磊等人提出了一种利用城市已有的监控网络去获取数据的方法，基于深度学习的算法进行无人机目标检测，进而识别和定位无人机，可实现实时追踪^[15]。2018年5月，北斗开发实验室研制的无人机反制系统ADS2000为国内首款采用欺骗信号干扰技术的系统，它可接管无人机导航系统，进行有效的监控^[16]。

针对现有的反无人机系统无法同时进行检测和跟踪拦截、自动化程度低、不方便民用等现状，文中提出基于视觉的跟随式定向干扰方案。采用HOG（Histogram of Oriented Gradient）+非线性SVM（Support Vector Machine）的方案来识别无人机，加入ViBe（Visual Background Extractor）和KCF（Kernel Correlation Filter）算法进行运动目标检测和跟踪，并基于该技术开发出一套可全天候运行的智能化无人机入侵检测与跟踪拦截系统，测试结果表明，该反无人机系统使用方便，控制灵活，能够对入侵的无人机进行自动识别、跟踪与拦截。

设计拦截系统硬件结构并进行实物制作和搭建，如图1所示。系统上层安置摄像头和干扰装置；中层安装跟踪伺服系统，包括旋转平台和舵盘，其中舵盘底部和下层舵机的轴相连接；下层是一个箱体，进行承载和安放舵机。具体装置介绍如下：摄像头-采集目标空域实时画面信息；干扰装置-发射干扰信号；跟踪伺服系统-与舵机托盘相连，其上放置干扰装置等设备，跟踪无人机时带动其上的设备进行旋转；底座-位于最下方，用于固定和承载舵机，高20 cm，边长40 cm。

Figure 1.  Physical drawing of system hardware

所设计的反无人机系统将无人机识别跟踪与干扰拦截进行融合，从而实现对入侵无人机的跟随式干扰。因此，系统算法实现分成探测和反制两大部分。无人机探测部分主要实现无人机运动目标检测、特征提取与分类和目标跟踪与坐标数据发送。无人机反制部分主要实现接收目标位置数据、生成控制信号、旋转拦截平台及发送干扰信号。

无人机探测子系统的算法流程如图2所示。摄像头对目标空域实时画面进行采集，随后利用ViBe算法分割出画面中正在运动的前景目标。若未检测到运动目标，则继续对下一帧图像进行检测。若检测到画面中存在运动目标，则框定目标，记录运动目标所在画面中的位置信息。然后，根据位置信息在原图像中提取相应区域的子图像，将子图像送入HOG算法中提取特征向量，将特征向量送入预先完成训练的非线性SVM进行识别。若识别结果判定该目标不是无人机时，则中止后续工作并重新进行下一帧图像的前景目标提取工作；若识别结果表示该运动目标为无人机目标时，进行KCF算法的初始化，构建滤波模板。最后，读取下一帧图像，进行KCF跟踪，解析无人机当前坐标并将其输出，同时更新滤波模板。重复读取图像、执行KCF跟踪算法便可完成对无人机的跟踪并输出其在画面中的实时位置。

Figure 2.  Flow chart of drone detection algorithm

无人机反制子系统算法流程如图3所示。其中，树莓派为计算、控制的中枢，完成无人机坐标接收、舵机驱动信号计算、控制舵机旋转及控制干扰信号的发射等任务。若依次进行上述任务，将导致反制子系统滞后于检测子系统，无法实现反制设备的实时瞄准。因此，考虑采用多线程方法解决上述问题。将上述三个过程独立，让程序并行运行，保证控制算法能获得最新的坐标值，从而输出合适的驱动信号，跟踪伺服系统也就能及时瞄准、跟随目标。

Figure 3.  Flow chart of UAV countermeasure algorithm

像素梯度是统计方向梯度直方图的基础。像素梯度包含两部分信息，即梯度的幅值和方向，二者表征物体的轮廓边缘信息。像素点梯度可根据相邻像素点值计算得出：

式中：$ {G_x}(x,y) $、$ {G_y}(x,y) $分别为坐标$ (x,y){\text{ }} $处像素水平和垂直方向的梯度幅值；$ V(x,y) $为坐标$ (x,y) $处像素值。根据公式(1)、(2)可得该像素点的梯度幅值和方向：

梯度信息省略了图像许多不重要的信息，如颜色分布一致的背景等，但是突出了前景的轮廓边缘信息。如图4所示，梯度分布图可以很清晰地辨认出图片中的前景目标。

Figure 4.  UAV sample original image and gradient map

HOG特征提取的基本流程如图5所示，主要有：

Figure 5.  Flow chart of HOG feature extraction

(1) 对输入图像进行预处理，调整图像尺寸和进行伽马校正；

(2) 计算各像素点的梯度，梯度信息可表征局部图像的轮廓形状；

(3) 组合一定区域内的若干个像素点构成最小统计单位cell，统计每个单元(cell)的梯度分布信息，形成各自的特征描述子；

(4) 将若干个单元组合成块(blocks)，串联块内所有的特征描述子便可得到基于块的特征信息，即HOG特征描述子；

(5) 串连组合图像所有块的特征信息后，就此生成图像的HOG特征向量。

HOG特征向量是判定目标是否为无人机的依据。为了实现对无人机的识别，还需要建立决策函数评估特征向量的结果，该设计采用非线性支持向量机实现对无人机图像的分类识别。

SVM实质上就是对凸二次规划问题进行求解优化。若假设特征空间存在线性不可分的数据集：

式中：$ {x_i} $、$ {y_i} $ $ {\text{(}}i{\text{ = 1,\;2,\; }}\cdots,\; n{\text{) }} $分别表示第$ i $个样本的特征向量和分类标签。且当$ {x_i} $向量为正例时，$ {y_i} = + 1 $，反之，$ {x_i} $向量为负例时，$ {y_i} = - 1 $。

支持向量机的求解就是寻找分离超平面，即解析带约束的最优化问题^[17]：

根据上述问题得到分离超平面和分类决策函数：

首先，根据公式(6)构建拉格朗日函数形式：

式中：$\alpha \text{=}({\alpha }_{\text{1}},{\alpha }_{2},\text{ }\mathrm{...}\text{ },{\alpha }_{N}{)}^{{\rm{T}}}$为拉格朗日乘子向量。

根据拉格朗日对偶性质，可在公式(9)中先对$ \alpha $极大化、再对${\omega ^{\rm{T}}},b$极小化的原始问题变成先对${\omega ^{\rm{T}}},b$极小化、再对$ \alpha $极大化的对偶问题：

当数据线性不可分时，考虑引入核函数将输入空间的样本向量映射对应到希尔伯特空间，使映射向量集在希尔伯特空间中呈现线性分布。

设$ \chi $为欧氏空间(输入空间)，$ \gamma $为希尔伯特空间(特征空间)，对于样本$ x $存在一映射关系：

且对于所有的$ x,z \in \chi $，满足：

故非线性SVM拉格朗日对偶问题为^[17]：

解析上述对偶问题后可得SVM的超平面：

为检测运动目标，需要先对图像进行背景建模。以含有无人机的一帧图像为例，位置为$ x $的像素点的像素值为$ v(x) $，则对于任意位置的像素点的背景模型可表示为：

式中：$ {v_i} $为位置$ x $的像素点的背景模型中的第$ i $个背景样本点值；$ N $表示每个背景模型的样本量。

该模型本质上是一个背景像素点集合，该集合可用来判断当前帧中各像素点的类别，即为前景点还是背景点。为了根据背景模型判断相应像素点的类属，需要建立一套对应的评价体系。该体系主要处理过程为先计算当前帧像素点值与背景模型中各样本值的差值，利用差值表征当前像素点与各背景像素点之间的距离，如下式所示：

然后设定统计阈值$ {N_{\min }} $和度量半径$ R $，统计$ D(x) $集合中满足$ \left| {v(x) - {v_1}} \right|{\text{ < }}R $的个数$ N $。若$ N > {N_{\min }} $，则将当前像素点判定为背景像素点，否则为前景点。

ViBe算法利用初始的单帧图像便可完成背景模型的初始化。在起始帧中，假设$ {N_G}(x) $是位置为x的像素点邻域内所有像素点集合，那么该像素点的背景模型可初始化为：

其中，位置为$ y $的像素点是在位置为$ x $的像素点的邻域内均匀分布抽样得到的，因此，对于邻域内某一个特定的像素点可能会被多次选定加入背景模型，也有可能一次都未被选中。

对于运动目标检测，背景模型并不是一成不变的。为了保证实时准确检测画面中运动目标，背景模型的更新是至关重要的一步。ViBe算法采用保守更新的同时又利用空间信息，将背景演变的信息融入到被前景遮掩的背景像素模型中，这种策略可以规避保守更新策略所带来的缺点。

系统采用ViBe算法进行无人机运动目标检测，使识别范围缩小至子图像区域，从而提高识别速度和准确率。

为了获取无人机目标的实时位置信息，采用KCF算法实现对无人机运动目标进行跟踪。KCF算法考虑采用循环矩阵生成样本集，循环矩阵的优势主要有两点：一是不需要花费较多的时间通过滑窗采样方式生成样本集，二是循环矩阵可通过快速傅里叶变换实现加速计算。

循环矩阵就是根据一个$ n \times 1 $维向量每次向右移动一个单位组成的含有$ n $个向量的$ n \times n $维矩阵。考虑一训练样本为$x = {[{x_1},{x_2},{x_3},{\text{ }}\cdots{\text{ , }}{x_n}]^{\rm{T}}}$，将原始样本向量和移位得到的$ n{{ - 1}} $个向量组合在一起就得到了循环矩阵：

循环矩阵中的真实样本只有构建该矩阵的原始向量，其余的样本均是虚构出来。值得注意的是，循环矩阵在频域内具有很好的对角化特性，这个特性使得滤波器在频率空间只需根据一个原始样本就能完成构建，与在图像空域等效地训练滤波器需采用$ n $个样本相比，此举极大地提高了计算效率。

任意的循环矩阵$ C(x) $，在频域空间可用原始向量$x = {[{x_1},{x_2},{x_3},{\text{ }}\cdots{\text{ }},{x_n}]^{\rm{T}}}$借助离散傅里叶矩阵表示，如下式所示：

式中：$ F $为离散傅里叶变换矩阵。

KCF滤波模板的构建本质上就是求解一个线性回归函数，这个回归函数便是脊回归。脊回归是在普通的线性回归目标损失函数的基础上引入一个正则项，那么它的损失函数便有：

式中：$ \lambda (\lambda {\text{ > 0}}) $为惩罚参数，为平衡平方损失和正则项的系数。

KCF可通过对$ \omega $求导来求解损失函数，从而训练得到分类函数(滤波模板) $f({x_i}) = {\omega ^{\rm{T}}}{x_i}$的回归系数：

式中：${X^{\rm{H}}}$为关于$ X $的厄米特转置。

利用循环矩阵可对角化性质，那么回归系数$ \omega $可以表示为：

式中：$ \hat x $为$ x $的离散傅里叶变换结果；$ {\hat x^*} $为$ \hat x $的共轭形式；$ \odot $代表元素间相乘；$ {\mathcal{F}^{ - 1}} $表示离散傅里叶逆变换。

回归系数$ \omega $经过循环矩阵$ X $离散傅里叶变换对角化后有效避免了求逆过程，计算复杂度明显降低，计算效率大大提高。

采用上述线性模板实现目标跟踪，跟踪水平极其有限。针对非线性问题，引入核技巧与核函数，旨在将非线性问题转换为线性问题后再进行求解^[18]。

引入核技巧将问题线性化，所以回归系数$ \omega $可用输入样本$x = {[{x_1},{x_2},{\text{ }}\cdots {\text{ }},{x_n}]^{\rm{T}}}$线性表示为：

将公式(23)代入公式(22)并结合核函数可解得：

根据傅里叶变换对角化性质可将上式转化为^[19]：

式中：$ {\hat k_{xx}} $为$ {k_{xx}} $的离散傅里叶变换。

KCF快速检测阶段主要是根据上一帧目标信息所训练的滤波模板对当前帧目标进行相关滤波运算，得到目标区域各点的响应值，其中最大值所对应的坐标就是跟踪目标的当前位置。检测过程如图6所示。

Figure 6.  Schematic diagram of KCF detection process

模板更新也是KCF算法必不可少的过程，因为KCF算法是根据前一帧训练的滤波模板计算响应目标在当前帧中的具体坐标，所以KCF在每帧完成检测阶段后还需进行滤波的模板更新，为下一帧进行目标检测做准备。KCF算法采取用线性插值的手段设置一定的更新步长对模板参数进行更新：

这样的更新策略一定程度上保留了历史样本值，也实现了滤波模板的进化，提升了滤波模板的可靠性和跟踪效果。

通过录制无人机飞行视频并进行相应处理来建立符合实验要求的样本数据集。总计截取的正样本数量3006张，负样本数量10208张。针对每个样本集，按3∶1的比例分成训练数据集和验证数据集，分别用于非线性SVM的训练和性能测试。

实验所采用的摄像头是杰锐微通HF899型工业摄像头，其有200万像素且可实现无畸变解析。使用的计算机环境是Windows 7系统Intel(R) Core(TM) i5-7200 U CPU@2.50 GHz，16 G内存。

确定HOG的参数后，计算每个样本的特征向量，得到特征向量样本集。利用一定数量的样本集对非线性SVM进行训练，并对训练得到的模型进行识别准确率测试，测试结果如图7所示。

Figure 7.  Recognition accuracy curve

结果表明，该方案可对无人机目标进行有效地识别。就识别准确率而言，当样本量达到7000时，识别准确率达到90.54%，可满足系统对无人机识别的要求。因此，该系统采用HOG+非线性SVM的识别方案是有效且可行的。

由于摄像头获取的实时监控图像分辨率较大，特征提取需要花费一定的时间。经过实验发现，对于分辨率为1024×768的画面，识别方案处理速度为7.14 fps，因此单纯使用HOG+非线性SVM识别方案无法满足实时性需求。

为了解决HOG+非线性SVM识别方案无法满足实时检测的问题，引入ViBe运动目标检测算法。即在对无人机目标进行识别前，先使用ViBe算法对监控画面进行运动目标检测，当检测到画面中存在入侵的运动目标时，截取运动目标所在区域的子图像，如图8所示。而后使用HOG+非线性SVM方案对子图像进行特征提取和识别。由于子图像的大小规格一般远小于监控画面的大小规格，故而在正常情况下对子图像进行识别更加省时。

Figure 8.  Process and results of moving target detection

实验结果表明，结合运动信息的无人机识别方案处理速度可达到20.56 fps，较未结合运动信息时的识别速度有较大提升，可以满足系统的实时性要求。

系统采用KCF算法实现对无人机运动目标的跟踪。为了测试KCF算法的跟踪效果，通过录制和下载无人机飞行视频以及在户外进行实地测试来对KCF算法的跟踪效果进行验证。结果显示，在两种情况下均能够对目标无人机进行稳定的跟踪。控制无人机以不同时速进入监控画面进行测试，最终计算得出KCF算法平均处理速度为43 fps，满足系统实时性要求。图9为KCF算法跟踪无人机结果。

Figure 9.  KCF tracking results

系统平台搭建完成后，对系统运行效果进行测试和验证，系统跟踪测试效果如图10所示。控制器通过无线网络从计算机接收到无人机目标实时的横坐标值，设定期望坐标值为图像中心横坐标。根据获取到的坐标值与期望值可计算得到偏差距离，PID控制器将根据偏差信息进行计算并输出相应的占空比至跟踪伺服系统的控制单元，控制其旋转相应的角度，从而实现对入侵无人机的跟踪。在无人机偏离画面中心的过程中，始终执行上述控制程序，直至无人机当前坐标值与期望值的偏差处于设定的合理区间内。至此跟踪系统停止转动，无人机目标位于画面中心附近，干扰装置也已瞄准无人机。

Figure 10.  System tracking test renderings

为使干扰装置能够实时地瞄准目标无人机，经过多次实验与调整，PID参数整定为：P=0.652、I=0.057、D=0.063。在此参数下，跟踪伺服系统可快速响应，实现对入侵无人机的实时跟踪与瞄准。图11为无人机目标偏离画面中心时，PID控制系统输入的偏差变化曲线图。由图可知，系统响应较为快速，目标静止时，跟踪伺服系统可在0.5 s内旋转并带动干扰设备到达指定位置，完成对入侵的无人机跟踪与瞄准。目标不断运动时，可及时克服扰动，瞄准无人机。虽然存在一定的稳态误差，但该误差并不会影响后续干扰的效果，故满足系统要求。

Figure 11.  Variation of system deviation curve

对系统进行综合测试，结果如图12所示。系统能够对进入到目标空域的无人机进行自动识别和跟踪，并驱动跟踪伺服系统旋转相应角度以带动干扰装置瞄准入侵的无人机，以实现对入侵无人机的拦截。测试结果表明系统性能良好，反应迅速，机械结构能够正确运行，驱动装置能够有效动作，能够很好地完成对入侵无人机的自动识别与干扰拦截任务。

Figure 12.  Drone intercept site map

文中针对无人机“黑飞”等问题，提出跟随式定向干扰方案，设计并开发了一套智能化无人机入侵检测与跟踪拦截系统。

(1)采用加入ViBe运动目标检测算法的HOG+非线性SVM方案对无人机进行识别。实验结果表明识别精度达到90.54%，识别速度为20.56 fps，能够达到系统要求。

(2)采用KCF跟踪算法结合PID算法对舵机进行实时跟踪控制，实现跟踪伺服系统对入侵无人机的实时跟踪。结果表明，平台能够对目标无人机进行快速、平稳的跟踪。

(3)结合系统软件算法和硬件平台，形成一套可进行跟随式定向干扰的无人机检测与拦截系统。测试结果显示，系统软硬件工作稳定，能够对进入目标空域的无人机进行自动识别与跟踪，并控制跟踪伺服系统对目标无人机进行实时跟踪、瞄准与干扰，从而实现对目标无人机的拦截，展现了文中研究成果在反无人机领域的广阔应用前景。

系统功能性已经实现，后续将在提高检测精度、系统稳定性等方面继续研究。首先在检测识别算法上进行改进，提高识别准确率；其次考虑采用多源信息融合来实现对无人机的检测，以达到更好的效果。