Human motion recognition method based on pyroelectric infrared sensor

近年来，人类动作识别因能在许多领域上应用而引起广泛的研究兴趣，精准的动作识别方法可以对人体行为进行判断，在运动分析、辅助医疗、虚拟现实和人机交互等领域得到广泛的应用。目前动作识别的方法主要可分为三类，分别利用图像、穿戴式设备和电磁波进行识别。基于计算机视觉的人体动作识别^[1-3]是最热门的研究方向，Sandhya等^[4]和裴晓敏^[5-6]等通过人体骨架的几何特征来识别人体行为，但视觉传感器易引发私密场合的隐私泄露问题；一类是基于惯性传感器的人体动作识别^[7-8]，利用加速度计和陀螺仪等^[9]检测运动的速度和角度信息来提取姿态信息，但专用传感器种类和数量太多导致安装和携带都不方便；近年来有一种新的方法是基于电磁波信号的动作识别，如WiFi^[10-11]和人体红外热辐射，使用WiFi信号识别复杂度较高且准确度较低，所以利用人体红外热辐射信号来进行动作识别是很好的选择。热释电红外（pyroelectric infrared, PIR）传感器作为一种无源传感器，它可以检测到人体运动时红外热辐射的变化，还具有低成本、低功耗和高灵敏度的特点，最重要的是可以保护隐私。

De^[12]等提出了一种基于四PIR传感器的系统，结合改进的MCP算法，可以识别室内环境中八个方向的人体运动检测。Pourpanah^[13]等人利用带有随机采样窗口掩膜的PIR传感器来感知人体的热变化，并提取信号时域统计特征，利用QFAM-GA方法识别人体行走动作的异常与否。Sun^[14]等提出了一种双模式感知系统，既可以检测运动目标，也可利用运动控制单元主动检测静止的人体对象，从而可以有效识别包含静止和运动目标的场景。Guan^[15]等设计了一套增强型红外传感系统，针对侧视传感模块和俯视传感模块使用不同的可见光掩膜，可显著增强特征的敏感度，利用GM-HMM算法可以识别走、坐、跑等日常活动，平均准确率达到91.6%。Yang^[16]等提出了一种基于分布式PIR传感器和多维特征融合的跌倒检测系统，以人摔倒过程中的质心变化、速度变化、人的面积变化及相邻帧的方差变化作为特征值，最后利用SVM实现了跌倒动作的识别，平均准确率可以达到93%。

考虑到PIR传感器输出的模拟信号本质上是一种时间序列数据，因此文中结合了一维卷积神经网络（one-dimensional convolutional neural network, 1DCNN）与循环神经网络（recurrent neural network，RNN）对动作进行分类，其中RNN选取网络结构较为简单的门控循环单元（gated recurrent unit ,GRU）。该方法利用人体运动时PIR传感器输出的原始信号处理之后的数据 作为1DCNN-GRU网络模型的输入，训练后能准确地识别出坐、站、走、跑和摔倒这五种不同的基本动作。

提出的系统由传感器节点、MCU数据采集单元和无线数据传输模块构成，图1为整体结构示意图。传感器节点由两个使用幕帘型菲涅耳透镜的PIR传感器组成，负责感应人体运动的信息。MCU数据采集单元包括信号调理电路模块和ADC采集模块，调理电路对PIR的输出信号进行滤波和放大，经ADC转换为数字信号由ZigBee无线传输网络实时传送到PC端，对数据进行预处理并打包封装好，作为深度学习网络模型的训练集和测试集。

Figure 1.  System overall structure diagram

PIR传感器通常由热释电元件和菲涅尔透镜等组成。人体体温一般在37 ℃左右，会发出特定波长（8~14 μm）的红外线。热释电元件在接收到人体红外辐射时会电荷失去平衡向外释放电荷，即热释电效应。菲涅耳透镜的作用一是聚集人体红外能量投射到热释电元件表面，扩大检测距离；二是将视场分为可见区与暗区，保证投射到热释电元件表面上的红外辐射能量信号是变化的。当人体在PIR传感器感应区运动时，两片热释电元件接收的人体热辐射能量值不同，便会产生一个变化的电压输出信号，该信号包含人体及运动的相关特征。笔者设计的实验中，PIR传感器采用二元被动热释电传感器D203 S，其包含一对反向串联的热势电元件，可以消除环境温度波动的影响。热释电探头的内部结构如图2所示。

Figure 2.  Internal structure of PIR

系统的传感器节点依据俯视视角安装，与侧视视角相比更能避免一些障碍物的遮挡，同时也能收集到更多人体运动的信息。图3、4分别是传感器的节点设计模型和实验场景。将两个PIR传感器安放在距离地面2.5 m高的天花板上，PIR传感器之间的距离设置为2.5 m，并对视场角进行调制，最终使得检测区域面积为2.5 m×0.5 m。

Figure 3.  Sensor node reference model

Figure 4.  Experimental real picture

基于上述的热释电红外传感器工作原理，当人在PIR传感器监测范围内运动时，会导致PIR传感器接收到的热辐射发生变化，从而产生电压波形信号。经研究发现：在相同类型的PIR传感器及菲涅耳透镜下，其捕捉到的人体运动信号具有很明显的三个特征。一是当人的动作经过由菲涅耳透镜划分而成的明暗区越多，其采集到的波形波峰的个数越多；二是当人的动作经过视场明暗区的速度越快，其采集到的波形的斜率的绝对值就越大。三是因笔者采用的PIR传感器是二元型，采集的信号具有方向性，可以判断动作在检测区域内的运动方向。由此，可以通过采集到的电压模拟信号的时域及频域特征信息来识别其动作类型。

卷积神经网络（convolutional neural network，CNN）是由Lecun等^[17]在深度学习研究中首次提出的一种深度学习架构。 1DCNN网络在训练过程中能够减少神经网络模型参数的数量，通过卷积核的权值共享使得运算量大幅度降低，而且不会因数据的维度压缩而导致大量时序特征信息损失。结构图如图5所示。

Figure 5.  Diagram of one-dimensional convolutional neural network structure

RNN擅长处理时间序列数据，但在输入序列的维度很大时可能会出现梯度消失的情况。长短期记忆网络（long short-term memory，LSTM）和GRU对RNN进行优化，解决了梯度消失的问题。GRU是LSTM的一种变体^[18]，比LSTM少了一个门函数，参数的数量远少于LSTM，因此GRU训练速度更快且成本更低。GRU网络模型中有两个门：更新门和重置门。更新门控制当前时刻输出的状态中要保留多少历史状态以及保留多少当前时刻的候选状态；重置门决定当前时刻的候选状态是否需要依赖上一时刻的网络状态以及需要依赖多少^[19]。具体结构如图6所示。

用公式可以表达为：

式中：[]表示两个向量相连；*表示矩阵的乘积；${{r_t}} $为重置门，${{z_t}} $为更新门；$W_r $、$W_z $、${{W_{\tilde h}}} $为权重参数；$ x_t$为t时刻GRU的输入；$\widetilde {{h_t}} $表示一个GRU单元在t时刻的激活值；${h_t} $表示当前GRU单元的激活值；$\sigma $为sigmod函数。

Figure 6.  Diagram of GRU network structure

文中将1DCNN网络与GRU网络各自的特点相结合，采用了一种1DCNN-GRU的网络模型对人体动作进行分类识别。该设计中的网络模型输入参数是1×1200维的特征向量，由于特征点较多，因此首先选择三层1DCNN神经网络进行深层特征提取，实现对特征量进行特征重构与特征向量降维，且同时保证不破坏特征向量的时序性，然后利用GRU网络的非线性特征学习能力对卷积后的特征向量进行学习，得到可表述人体动作的特征集。最后通过全连接层、softmax层对结果进行分类。网络结构如图7所示。

Figure 7.  Structure diagram of 1DCNN-GRU model

文中实验提出的动作识别算法的流程图如图8所示，首先对一组PIR传感器采集的数据进行预处理，去除其他热源干扰，并将数据进行特征融合构建数据集。然后利用深度学习神经网络学习并建立了动作检测模型，最后使用机器学习分类算法来完成动作的识别。

Figure 8.  Flowchat of algorithm implementation

以实验采集志愿者在PIR传感器下做指定动作时的实时输出信号作为数据集。为保证实验的多样性，排除偶然性，招募五名志愿者（3名男性，2名女性）协助测量数据。要求志愿者在两个PIR传感器视场路径的中心区域完成指定动作，每位志愿者依次进行坐、站、走、跑和摔倒这五种动作。在检测现场无规则摆放各种障碍物，并且让每位志愿者以不同的速度、动作幅度和方向做上面五种动作。传感器节点采集一次数据的时间长度为6 s，采样频率为100 Hz，并通过计算机的Matlab软件来查看和保存实时数据。将两传感器的实时输出数据拼接形成数据集中的一个样本数据，该数据集中包含1500组样本数据，五种动作样本各300组。选取每种样本中的200组数据组成容量1000组的训练集，剩下的500组作为测试集来验证网络结构的有效性。图9为某一志愿者五种动作的原始数据。

Figure 9.  Original signal diagram of five actions

由于五位志愿者行为习惯及体型都不同，导致样本数据的数值变化范围存在差异，需要对每个样本数据进行标准化处理。处理方法采用最大最小标准化，将样本数据映射到（0,1）区间之中，转换函数用公式表示为：

式中： $ x_{t} $表示某一样本数据；$x_{t}^{\prime} $表示预处理后的样本数据；$min \left(x_{t}\right) $表示一组样本数据的最小值；$max \left(x_{t}\right) $表示一组样本数据的最大值。经过归一化之后再对数据进行网络训练可以加快梯度下降求最优解的速度，减少训练时间。

将经过归一化处理的两路信号进行特征融合，即将特征向量进行连接。若有$ n $个输入特征向量$ {x}_{1},{x}_{2},\cdots ,{x}_{n} $，其维数分别为${p_1},{p_2}, \cdots ,{p_n}$，则输出特征向量$y$的维数为$\displaystyle \sum\limits_{i = 1}^n {{p_i}} $。最后将数据集加上标签，用训练集输入神经网络中进行训练，并用测试集测试模型训练效果。

实验中网络设计采用的是Tensorflow+Keras框架，表1是具体网络结构设置。文字模型使用自适应性矩估计（adaptive moment estimation，Adam）优化函数更新模型的权重与偏置。为防止过拟合，设置GRU层的dropout值^[20]为0.05。

神经网络学习训练的过程将参数epochs设置为300，即训练300轮。图10是经过300次迭代之后得到的模型损失函数，图11是模型的训练准确度。训练结果显示：随着神经网络训练的进行，损失函数逐渐减小，训练精度逐渐提高，未发生过拟合，并且在迭代150次左右损失值下降到零，训练精度达到百分之百。在变化过程中出现的波动表示模型并不是在向着同一个方向学习，因此会出现波动。但最终准确率和损失都趋于平稳，即模型收敛。

Figure 10.  Loss function of the model

Figure 11.  Training accuracy of the model

表2是利用测试集在1DCNN-GRU模型下进行测试的准确率。实验结果显示：该模型的平均分类准确率达到了98.6%，达到了较好的识别效果。其中可以看出摔倒动作的识别率偏低，因为摔倒动作是一种复杂的全身动作，会导致PIR传感器采集热辐射信号变化的特征信息较多，因此识别率偏低。实验结果说明1DCNN-GRU网络模型对于文中的五种基础动作能够进行有效的区分。

在文中的研究中也对不同模型的性能进行了对比研究，表3所示为不同模型识别动作的训练时长及识别准确率的对比结果。GRU网络与传统的LSTM网络相比较具有更好的优势，在保证识别准确率几乎相同的前提下，GRU网络模型可以减少训练参数，加快收敛速度。尽管1DCNN的训练时长最短，但其识别的准确率还是较低的。因此在将特征向量输入到GRU网络之前，可利用卷积和池化进一步简化计算，在保证不丢失信号特征的同时得到性能最佳的训练模型。最终实验结果表明：通过结合1DCNN和RNN网络之后的模型既减小了运算负荷，又更能捕获实验数据的时序特征。因此文中提出的方法达到了较好的动作识别效果。

文中针对分布式PIR传感器检测系统提出了一种基于时域卷积与循环神经网络的混合网络模型进行人体动作识别的算法，该算法可以有效识别短时活动。提出的1DCNN-GRU网络模型既可以通过卷积神经网络压缩数据维度加快运算速度，又能让GRU网络充分利用时间序列的相关性。通过与其他几种传统方法相比可以看出：文中使用的1DCNN-GRU模型效果更好，在保证识别准确率高的同时大大提升了性能。

此研究还存在一些不足，文中提出的方法只适用于室内环境对单个目标的基础动作的识别，多目标情况下采集到的信号复杂度较高，如何找到其中能准确表述各目标以及动作的特征信息将成为未来的研究方向。