留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于热释电红外传感器的人体动作识别方法

徐晓冰 左涛涛 孙百顺 李奇越 吴刚

徐晓冰, 左涛涛, 孙百顺, 李奇越, 吴刚. 基于热释电红外传感器的人体动作识别方法[J]. 红外与激光工程, 2022, 51(4): 20210188. doi: 10.3788/IRLA20210188
引用本文: 徐晓冰, 左涛涛, 孙百顺, 李奇越, 吴刚. 基于热释电红外传感器的人体动作识别方法[J]. 红外与激光工程, 2022, 51(4): 20210188. doi: 10.3788/IRLA20210188
Xu Xiaobing, Zuo Taotao, Sun Baishun, Li Qiyue, Wu Gang. Human motion recognition method based on pyroelectric infrared sensor[J]. Infrared and Laser Engineering, 2022, 51(4): 20210188. doi: 10.3788/IRLA20210188
Citation: Xu Xiaobing, Zuo Taotao, Sun Baishun, Li Qiyue, Wu Gang. Human motion recognition method based on pyroelectric infrared sensor[J]. Infrared and Laser Engineering, 2022, 51(4): 20210188. doi: 10.3788/IRLA20210188

基于热释电红外传感器的人体动作识别方法

doi: 10.3788/IRLA20210188
详细信息
    作者简介:

    徐晓冰,男,副教授,硕士生导师,主要从事物联网控制系统、智能信息处理与智能系统方面的研究

    通讯作者: 左涛涛,男,硕士生,主要从事智能信息处理与智能系统、物联网控制系统方面的研究。
  • 中图分类号: TP212.9;TP391.4

Human motion recognition method based on pyroelectric infrared sensor

  • 摘要: 针对目前人体动作识别技术中存在的隐私暴露、技术复杂度高和识别精度低等相关问题,提出了一种基于热释电红外(PIR)传感器的人体动作识别方法。首先,采用一组安置在天花板上经过视场调制的PIR传感器采集人体运动时散发的红外热辐射信号,将传感器输出的电压模拟信号进行滤波放大后通过ZigBee无线模块传送到PC端打包成原始数据集;其次,将原始数据的两路传感器输出数据进行特征融合,对融合后的数据做标准化处理封装为训练集和测试集;然后,基于数据的特征提出一种两层级联的混合深度学习网络模型作为人体动作的分类算法,第一层采用一维卷积神经网络(1DCNN)对数据进行特征提取,第二层采用门控循环单元(GRU)保存历史输入信息防止丢失有效特征;最后,利用训练集来训练该网络模型得出参数最优的分类模型,通过测试集验证模型的正确性。实验结果表明,提出的该动作识别技术模型对基本动作分类的准确率高于98%,与图像动作识别或穿戴式设备动作识别相比,实现了实时、便捷、低成本和高保密性的高精度人体动作识别。
  • 图  1  系统整体结构图

    Figure  1.  System overall structure diagram

    图  2  PIR内部结构图

    Figure  2.  Internal structure of PIR

    图  3  传感器节点参考模型

    Figure  3.  Sensor node reference model

    图  4  实验实景图

    Figure  4.  Experimental real picture

    图  5  一维卷积神经网络结构图

    Figure  5.  Diagram of one-dimensional convolutional neural network structure

    图  6  GRU网络结构图

    Figure  6.  Diagram of GRU network structure

    图  7  1DCNN-GRU模型结构图

    Figure  7.  Structure diagram of 1DCNN-GRU model

    图  8  算法实现流程图

    Figure  8.  Flowchat of algorithm implementation

    图  9  五种动作的原始信号图

    Figure  9.  Original signal diagram of five actions

    图  10  模型的损失函数

    Figure  10.  Loss function of the model

    图  11  模型的训练准确度

    Figure  11.  Training accuracy of the model

    表  1  1DCNN-GRU模型参数设置

    Table  1.   Parameter settings for 1DCNN-GRU model

    Layer(type)Output shapeParameter
    Conv1 d_1(Conv1D)(None,1200,256)1536
    Max_poolingld_1(None,300,256)0
    Conv1 d_2(Conv1D)(None,300,128)98432
    Max_poolingld_2(None,75,128)0
    Conv1 d_3(Conv1D)(None,75,64)24640
    Max_poolingld_3(None,18,64)0
    gru_1(GRU)(None,256)246528
    Dense_1(Dense)(None,32)8224
    dense_2(Dense)(None,5)165
    下载: 导出CSV

    表  2  五种动作分类的准确率

    Table  2.   Accuracy of 5 types of action classification

    Action categoryRecognition accuracy
    Run98%
    Walk100%
    Sit100%
    Stand100%
    Fall95%
    下载: 导出CSV

    表  3  不同模型的性能对比

    Table  3.   Performance comparison of different models

    Network modelAccuracyTraining time/s
    1DCNN93.8%178
    GRU88.6%467
    LSTM91.8%543
    1DCNN-LSTM98.6%245
    1DCNN-GRU98.8%195
    下载: 导出CSV
  • [1] Patel C I, Labana D, Pandya S, et al. Histogram of oriented gradient-based fusion of features for human action recognition in action video sequences [J]. Sensors, 2020, 20(24): 7299. doi:  https://doi.org/10.3390/s20247299
    [2] Ma Shiwei, Liu Lina, Fu Qi, et al. Using PHOG fusion features and multi-class Adaboost classifier for human behavior recognition [J]. Optics and Precision Engineering, 2018, 26(11): 2827-2837. (in Chinese) doi:  10.3788/OPE.20182611.2827
    [3] Li Qinghui, Li Aihua, Cui Zhigao, et al. Action recognition via restricted dense trajectories and spatio-temporal co-occurrence feature [J]. Optics and Precision Engineering, 2018, 26(1): 230-237. (in Chinese)
    [4] Sandhya R S, Apparao N G, Usha S V. Kinematic joint descriptor and depth motion descriptor with convolutional neural networks for human action recognition [J]. Materials Today: Proceedings, 2020, 37(2): 3164-3173. doi:  https://doi.org/10.1016/j.matpr.2020.09.052
    [5] Pei Xiaomin, Fan Huijie, Tang Yandong. Action recognition method of spatio-temporal feature fusion deep learning network [J]. Infrared and Laser Engineering, 2018, 47(2): 0203007. (in Chinese) doi:  10.3788/IRLA201847.0203007
    [6] Pei Xiaomin, Fan Huijie, Tang Yandong. Two-person interaction recognition based on multi-stream spatio-temporal fusion network [J]. Infrared and Laser Engineering, 2020, 49(5): 20190552. (in Chinese) doi:  10.3788/IRLA20190552
    [7] Liu S Q, Zhang J C, Zhang Y Z, et al. A wearable motion capture device able to detect dynamic motion of human limbs [J]. Nature Communications, 2020, 11(1): 5615. doi:  https://doi.org/10.1038/s41467-020-19424-2
    [8] Su Benyue, Zheng Dandan, Tang Qingfeng, et al. Human daily short-time activity recognition method driven by single sensor data [J]. Infrared and Laser Engineering, 2019, 48(2): 0226003. (in Chinese) doi:  10.3788/IRLA201948.0226003
    [9] Wang Zhenyu, Zhang Lei. Deep convolutional and gated recurrent neural networks for sensor-based activity recognition [J]. Journal of Electronic Measurement and Instrumentation, 2020, 34(1): 1-9. (in Chinese)
    [10] Wang Y, Jiang X L, Cao R Y, et al. Robust indoor human activity recognition using wireless signals [J]. Sensors, 2015, 15(7): 17195-208. doi:  10.3390/s150717195
    [11] Liu Xiwen, Chen Haiming. Wi-ACR: a human action counting and recognition method based on CSI [J]. Jourmal of Beijing University of Posts and Telecommunications, 2020, 43(5): 105-111. (in Chinese)
    [12] De P, Chatterjee A, Rakshit A. PIR sensor-based AAL tool for human movement detection: modified MCP-based dictionary learning approach [J]. IEEE Transactions on Instrumentation and Measurement, 2020, 69(10): 7377-7385. doi:  10.1109/TIM.2020.2981106
    [13] Pourpanah F, Zhang B, Ma R, et al. Non-intrusive human motion recognition using distributed sparse sensors and the genetic algorithm based neural network[C]//2018 IEEE Sensors. IEEE, 2018: 1-4.
    [14] Sun Q, Hu F. Dual-mode binary thermal sensing for indoor human scenario recognition with pyroelectric infrared sensors[C]//2019 IEEE Sensors. IEEE, 2019: 1-4.
    [15] Guan Q, Li C, Qin L, et al. Daily activity recognition using pyroelectric infrared sensors and reference structures [J]. IEEE Sensors Journal, 2018, 19(5): 1645-1652.
    [16] Yang Y, Yang H L, Liu Z X, et al. Fall detection system based on infrared array sensor and multi-dimensional feature fusion [J]. Measurement, 2022, 192: 110870. doi:  10.1016/j.measurement.2022.110870
    [17] Lecun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition [J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324. doi:  10.1109/5.726791
    [18] Cho K, Van M B, Gulcehre C, et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation[DB/OL]. (2014-06-03). https://arxiv.org/abs/1406.1078.
    [19] Chung J, Gulcehre C, Cho K H, et al. Empirical evaluation of gated recurrent neural networks on sequence modeling[DB/OL]. https://arxiv.org/abs/1412.3555.
    [20] Srivastava N, Hinton G, Krizhevsk A, et al. Dropout: A simple way to prevent neural networks from overfitting [J]. Journal of Machine Learning Research, 2014, 15(1): 1929-1958.
  • [1] 李正达, 孙胜利, 孙小进, 陈异凡, 韩逸啸, 马孝浩, 申笑天.  利用神经网络反演遥感相机扫描镜热变形的方法 . 红外与激光工程, 2023, 52(10): 20230065-1-20230065-10. doi: 10.3788/IRLA20230065
    [2] 张逸文, 蔡宇, 苑莉薪, 胡明列.  基于循环神经网络的超短脉冲光纤放大器模型(特邀) . 红外与激光工程, 2022, 51(1): 20210857-1-20210857-7. doi: 10.3788/IRLA20210857
    [3] 宦克为, 李向阳, 曹宇彤, 陈笑.  卷积神经网络结合NSST的红外与可见光图像融合 . 红外与激光工程, 2022, 51(3): 20210139-1-20210139-8. doi: 10.3788/IRLA20210139
    [4] 李东亮, 卢贝.  基于深度神经网络的光纤传感识别算法 . 红外与激光工程, 2022, 51(9): 20210971-1-20210971-6. doi: 10.3788/IRLA20210971
    [5] 张银波, 李思宁, 姜鹏, 孙剑峰.  PCA特征提取和弹性BP神经网络的水下气泡识别 . 红外与激光工程, 2021, 50(6): 20200352-1-20200352-7. doi: 10.3788/IRLA20200352
    [6] 张少宇, 伍春晖, 熊文渊.  采用门控循环神经网络估计锂离子电池健康状态 . 红外与激光工程, 2021, 50(2): 20200339-1-20200339-8. doi: 10.3788/IRLA20200339
    [7] 高泽宇, 李新阳, 叶红卫.  流场测速中基于深度卷积神经网络的光学畸变校正技术 . 红外与激光工程, 2020, 49(10): 20200267-1-20200267-10. doi: 10.3788/IRLA20200267
    [8] 张旭, 于明鑫, 祝连庆, 何彦霖, 孙广开.  基于全光衍射深度神经网络的矿物拉曼光谱识别方法 . 红外与激光工程, 2020, 49(10): 20200221-1-20200221-8. doi: 10.3788/IRLA20200221
    [9] 薛珊, 张振, 吕琼莹, 曹国华, 毛逸维.  基于卷积神经网络的反无人机系统图像识别方法 . 红外与激光工程, 2020, 49(7): 20200154-1-20200154-8. doi: 10.3788/IRLA20200154
    [10] 刘鹏飞, 赵怀慈, 曹飞道.  多尺度卷积神经网络的噪声模糊图像盲复原 . 红外与激光工程, 2019, 48(4): 426001-0426001(9). doi: 10.3788/IRLA201948.0426001
    [11] 张腊梅, 陈泽茜, 邹斌.  基于3D卷积神经网络的PolSAR图像精细分类 . 红外与激光工程, 2018, 47(7): 703001-0703001(8). doi: 10.3788/IRLA201847.0703001
    [12] 郭强, 芦晓红, 谢英红, 孙鹏.  基于深度谱卷积神经网络的高效视觉目标跟踪算法 . 红外与激光工程, 2018, 47(6): 626005-0626005(6). doi: 10.3788/IRLA201847.0626005
    [13] 李方彪, 何昕, 魏仲慧, 何家维, 何丁龙.  生成式对抗神经网络的多帧红外图像超分辨率重建 . 红外与激光工程, 2018, 47(2): 203003-0203003(8). doi: 10.3788/IRLA201847.0203003
    [14] 赵东波, 李辉.  基于中心矩特征和GA-BP神经网络的雷达目标识别 . 红外与激光工程, 2018, 47(8): 826005-0826005(7). doi: 10.3788/IRLA201847.0826005
    [15] 杨楠, 南琳, 张丁一, 库涛.  基于深度学习的图像描述研究 . 红外与激光工程, 2018, 47(2): 203002-0203002(8). doi: 10.3788/IRLA201847.0203002
    [16] 易金桥, 黄勇, 廖红华, 谭建军, 姜胜林.  热释电红外传感器及其在人员计数系统中的应用 . 红外与激光工程, 2015, 44(4): 1186-1192.
    [17] 于海, 梁立辉, 王树洁, 卢新然, 万秋华.  基于径向基函数神经网络的高精度基准编码器误差补偿 . 红外与激光工程, 2014, 43(12): 4123-4127.
    [18] 孙韶媛, 李琳娜, 赵海涛.  采用KPCA和BP神经网络的单目车载红外图像深度估计 . 红外与激光工程, 2013, 42(9): 2348-2352.
    [19] 赵春晖, 刘振龙.  改进的红外图像神经网络非均匀性校正算法 . 红外与激光工程, 2013, 42(4): 1079-1083.
    [20] 赵春华, 许云涛, 宁春玉.  LHI878热释电红外传感器的体温检测系统设计 . 红外与激光工程, 2013, 42(2): 324-328.
  • 加载中
图(11) / 表(3)
计量
  • 文章访问数:  316
  • HTML全文浏览量:  88
  • PDF下载量:  45
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-03-19
  • 修回日期:  2021-04-12
  • 刊出日期:  2022-05-06

基于热释电红外传感器的人体动作识别方法

doi: 10.3788/IRLA20210188
    作者简介:

    徐晓冰,男,副教授,硕士生导师,主要从事物联网控制系统、智能信息处理与智能系统方面的研究

    通讯作者: 左涛涛,男,硕士生,主要从事智能信息处理与智能系统、物联网控制系统方面的研究。
  • 中图分类号: TP212.9;TP391.4

摘要: 针对目前人体动作识别技术中存在的隐私暴露、技术复杂度高和识别精度低等相关问题,提出了一种基于热释电红外(PIR)传感器的人体动作识别方法。首先,采用一组安置在天花板上经过视场调制的PIR传感器采集人体运动时散发的红外热辐射信号,将传感器输出的电压模拟信号进行滤波放大后通过ZigBee无线模块传送到PC端打包成原始数据集;其次,将原始数据的两路传感器输出数据进行特征融合,对融合后的数据做标准化处理封装为训练集和测试集;然后,基于数据的特征提出一种两层级联的混合深度学习网络模型作为人体动作的分类算法,第一层采用一维卷积神经网络(1DCNN)对数据进行特征提取,第二层采用门控循环单元(GRU)保存历史输入信息防止丢失有效特征;最后,利用训练集来训练该网络模型得出参数最优的分类模型,通过测试集验证模型的正确性。实验结果表明,提出的该动作识别技术模型对基本动作分类的准确率高于98%,与图像动作识别或穿戴式设备动作识别相比,实现了实时、便捷、低成本和高保密性的高精度人体动作识别。

English Abstract

    • 近年来,人类动作识别因能在许多领域上应用而引起广泛的研究兴趣,精准的动作识别方法可以对人体行为进行判断,在运动分析、辅助医疗、虚拟现实和人机交互等领域得到广泛的应用。目前动作识别的方法主要可分为三类,分别利用图像、穿戴式设备和电磁波进行识别。基于计算机视觉的人体动作识别[1-3]是最热门的研究方向,Sandhya等[4]和裴晓敏[5-6]等通过人体骨架的几何特征来识别人体行为,但视觉传感器易引发私密场合的隐私泄露问题;一类是基于惯性传感器的人体动作识别[7-8],利用加速度计和陀螺仪等[9]检测运动的速度和角度信息来提取姿态信息,但专用传感器种类和数量太多导致安装和携带都不方便;近年来有一种新的方法是基于电磁波信号的动作识别,如WiFi[10-11]和人体红外热辐射,使用WiFi信号识别复杂度较高且准确度较低,所以利用人体红外热辐射信号来进行动作识别是很好的选择。热释电红外(pyroelectric infrared, PIR)传感器作为一种无源传感器,它可以检测到人体运动时红外热辐射的变化,还具有低成本、低功耗和高灵敏度的特点,最重要的是可以保护隐私。

      De[12]等提出了一种基于四PIR传感器的系统,结合改进的MCP算法,可以识别室内环境中八个方向的人体运动检测。Pourpanah[13]等人利用带有随机采样窗口掩膜的PIR传感器来感知人体的热变化,并提取信号时域统计特征,利用QFAM-GA方法识别人体行走动作的异常与否。Sun[14]等提出了一种双模式感知系统,既可以检测运动目标,也可利用运动控制单元主动检测静止的人体对象,从而可以有效识别包含静止和运动目标的场景。Guan[15]等设计了一套增强型红外传感系统,针对侧视传感模块和俯视传感模块使用不同的可见光掩膜,可显著增强特征的敏感度,利用GM-HMM算法可以识别走、坐、跑等日常活动,平均准确率达到91.6%。Yang[16]等提出了一种基于分布式PIR传感器和多维特征融合的跌倒检测系统,以人摔倒过程中的质心变化、速度变化、人的面积变化及相邻帧的方差变化作为特征值,最后利用SVM实现了跌倒动作的识别,平均准确率可以达到93%。

      考虑到PIR传感器输出的模拟信号本质上是一种时间序列数据,因此文中结合了一维卷积神经网络(one-dimensional convolutional neural network, 1DCNN)与循环神经网络(recurrent neural network,RNN)对动作进行分类,其中RNN选取网络结构较为简单的门控循环单元(gated recurrent unit ,GRU)。该方法利用人体运动时PIR传感器输出的原始信号处理之后的数据 作为1DCNN-GRU网络模型的输入,训练后能准确地识别出坐、站、走、跑和摔倒这五种不同的基本动作。

    • 提出的系统由传感器节点、MCU数据采集单元和无线数据传输模块构成,图1为整体结构示意图。传感器节点由两个使用幕帘型菲涅耳透镜的PIR传感器组成,负责感应人体运动的信息。MCU数据采集单元包括信号调理电路模块和ADC采集模块,调理电路对PIR的输出信号进行滤波和放大,经ADC转换为数字信号由ZigBee无线传输网络实时传送到PC端,对数据进行预处理并打包封装好,作为深度学习网络模型的训练集和测试集。

      图  1  系统整体结构图

      Figure 1.  System overall structure diagram

    • PIR传感器通常由热释电元件和菲涅尔透镜等组成。人体体温一般在37 ℃左右,会发出特定波长(8~14 μm)的红外线。热释电元件在接收到人体红外辐射时会电荷失去平衡向外释放电荷,即热释电效应。菲涅耳透镜的作用一是聚集人体红外能量投射到热释电元件表面,扩大检测距离;二是将视场分为可见区与暗区,保证投射到热释电元件表面上的红外辐射能量信号是变化的。当人体在PIR传感器感应区运动时,两片热释电元件接收的人体热辐射能量值不同,便会产生一个变化的电压输出信号,该信号包含人体及运动的相关特征。笔者设计的实验中,PIR传感器采用二元被动热释电传感器D203 S,其包含一对反向串联的热势电元件,可以消除环境温度波动的影响。热释电探头的内部结构如图2所示。

      图  2  PIR内部结构图

      Figure 2.  Internal structure of PIR

      系统的传感器节点依据俯视视角安装,与侧视视角相比更能避免一些障碍物的遮挡,同时也能收集到更多人体运动的信息。图34分别是传感器的节点设计模型和实验场景。将两个PIR传感器安放在距离地面2.5 m高的天花板上,PIR传感器之间的距离设置为2.5 m,并对视场角进行调制,最终使得检测区域面积为2.5 m×0.5 m。

      图  3  传感器节点参考模型

      Figure 3.  Sensor node reference model

      图  4  实验实景图

      Figure 4.  Experimental real picture

    • 基于上述的热释电红外传感器工作原理,当人在PIR传感器监测范围内运动时,会导致PIR传感器接收到的热辐射发生变化,从而产生电压波形信号。经研究发现:在相同类型的PIR传感器及菲涅耳透镜下,其捕捉到的人体运动信号具有很明显的三个特征。一是当人的动作经过由菲涅耳透镜划分而成的明暗区越多,其采集到的波形波峰的个数越多;二是当人的动作经过视场明暗区的速度越快,其采集到的波形的斜率的绝对值就越大。三是因笔者采用的PIR传感器是二元型,采集的信号具有方向性,可以判断动作在检测区域内的运动方向。由此,可以通过采集到的电压模拟信号的时域及频域特征信息来识别其动作类型。

    • 卷积神经网络(convolutional neural network,CNN)是由Lecun等[17]在深度学习研究中首次提出的一种深度学习架构。 1DCNN网络在训练过程中能够减少神经网络模型参数的数量,通过卷积核的权值共享使得运算量大幅度降低,而且不会因数据的维度压缩而导致大量时序特征信息损失。结构图如图5所示。

      图  5  一维卷积神经网络结构图

      Figure 5.  Diagram of one-dimensional convolutional neural network structure

      RNN擅长处理时间序列数据,但在输入序列的维度很大时可能会出现梯度消失的情况。长短期记忆网络(long short-term memory,LSTM)和GRU对RNN进行优化,解决了梯度消失的问题。GRU是LSTM的一种变体[18],比LSTM少了一个门函数,参数的数量远少于LSTM,因此GRU训练速度更快且成本更低。GRU网络模型中有两个门:更新门和重置门。更新门控制当前时刻输出的状态中要保留多少历史状态以及保留多少当前时刻的候选状态;重置门决定当前时刻的候选状态是否需要依赖上一时刻的网络状态以及需要依赖多少[19]。具体结构如图6所示。

      用公式可以表达为:

      $$ \begin{array}{c}{r}_{t}=\sigma \left({W}_{r}\cdot \left[{h}_{t-1},{x}_{t}\right]\right)\end{array} $$ (1)
      $$ \begin{array}{c}{z}_{t}=\sigma \left({W}_{z}\cdot \left[{h}_{t-1},{x}_{t}\right]\right)\end{array} $$ (2)
      $$ \begin{array}{c}{h}_{t}=\left(1-{z}_{t}\right)*{h}_{t-1}+{z}_{t}*\tilde{{h}_{t}}\end{array} $$ (3)
      $$ \begin{array}{c}\tilde{{h}_{t}}=\mathit{\rm tan}h\left({W}_{\tilde{h}}\cdot \left[{r}_{t}*{h}_{t-1},{x}_{t}\right]\right)\end{array} $$ (4)

      式中:[]表示两个向量相连;*表示矩阵的乘积;${{r_t}} $为重置门,${{z_t}} $为更新门;$W_r $$W_z $${{W_{\tilde h}}} $为权重参数;$ x_t$t时刻GRU的输入;$\widetilde {{h_t}} $表示一个GRU单元在t时刻的激活值;${h_t} $表示当前GRU单元的激活值;$\sigma $为sigmod函数。

      图  6  GRU网络结构图

      Figure 6.  Diagram of GRU network structure

    • 文中将1DCNN网络与GRU网络各自的特点相结合,采用了一种1DCNN-GRU的网络模型对人体动作进行分类识别。该设计中的网络模型输入参数是1×1200维的特征向量,由于特征点较多,因此首先选择三层1DCNN神经网络进行深层特征提取,实现对特征量进行特征重构与特征向量降维,且同时保证不破坏特征向量的时序性,然后利用GRU网络的非线性特征学习能力对卷积后的特征向量进行学习,得到可表述人体动作的特征集。最后通过全连接层、softmax层对结果进行分类。网络结构如图7所示。

      图  7  1DCNN-GRU模型结构图

      Figure 7.  Structure diagram of 1DCNN-GRU model

    • 文中实验提出的动作识别算法的流程图如图8所示,首先对一组PIR传感器采集的数据进行预处理,去除其他热源干扰,并将数据进行特征融合构建数据集。然后利用深度学习神经网络学习并建立了动作检测模型,最后使用机器学习分类算法来完成动作的识别。

      图  8  算法实现流程图

      Figure 8.  Flowchat of algorithm implementation

    • 以实验采集志愿者在PIR传感器下做指定动作时的实时输出信号作为数据集。为保证实验的多样性,排除偶然性,招募五名志愿者(3名男性,2名女性)协助测量数据。要求志愿者在两个PIR传感器视场路径的中心区域完成指定动作,每位志愿者依次进行坐、站、走、跑和摔倒这五种动作。在检测现场无规则摆放各种障碍物,并且让每位志愿者以不同的速度、动作幅度和方向做上面五种动作。传感器节点采集一次数据的时间长度为6 s,采样频率为100 Hz,并通过计算机的Matlab软件来查看和保存实时数据。将两传感器的实时输出数据拼接形成数据集中的一个样本数据,该数据集中包含1500组样本数据,五种动作样本各300组。选取每种样本中的200组数据组成容量1000组的训练集,剩下的500组作为测试集来验证网络结构的有效性。图9为某一志愿者五种动作的原始数据。

      图  9  五种动作的原始信号图

      Figure 9.  Original signal diagram of five actions

    • 由于五位志愿者行为习惯及体型都不同,导致样本数据的数值变化范围存在差异,需要对每个样本数据进行标准化处理。处理方法采用最大最小标准化,将样本数据映射到(0,1)区间之中,转换函数用公式表示为:

      $$ \begin{array}{c}{x}_{t}{{'} }=\dfrac{{x}_{t}-\mathit{min}\left({x}_{t}\right)}{\mathit{max}\left({x}_{t}\right)-\mathit{min}\left({x}_{t}\right)}\end{array} $$ (5)

      式中: $ x_{t} $表示某一样本数据;$x_{t}^{\prime} $表示预处理后的样本数据;$min \left(x_{t}\right) $表示一组样本数据的最小值;$max \left(x_{t}\right) $表示一组样本数据的最大值。经过归一化之后再对数据进行网络训练可以加快梯度下降求最优解的速度,减少训练时间。

      将经过归一化处理的两路信号进行特征融合,即将特征向量进行连接。若有$ n $个输入特征向量$ {x}_{1},{x}_{2},\cdots ,{x}_{n} $,其维数分别为${p_1},{p_2}, \cdots ,{p_n}$,则输出特征向量$y$的维数为$\displaystyle \sum\limits_{i = 1}^n {{p_i}} $。最后将数据集加上标签,用训练集输入神经网络中进行训练,并用测试集测试模型训练效果。

    • 实验中网络设计采用的是Tensorflow+Keras框架,表1是具体网络结构设置。文字模型使用自适应性矩估计(adaptive moment estimation,Adam)优化函数更新模型的权重与偏置。为防止过拟合,设置GRU层的dropout值[20]为0.05。

      表 1  1DCNN-GRU模型参数设置

      Table 1.  Parameter settings for 1DCNN-GRU model

      Layer(type)Output shapeParameter
      Conv1 d_1(Conv1D)(None,1200,256)1536
      Max_poolingld_1(None,300,256)0
      Conv1 d_2(Conv1D)(None,300,128)98432
      Max_poolingld_2(None,75,128)0
      Conv1 d_3(Conv1D)(None,75,64)24640
      Max_poolingld_3(None,18,64)0
      gru_1(GRU)(None,256)246528
      Dense_1(Dense)(None,32)8224
      dense_2(Dense)(None,5)165

      神经网络学习训练的过程将参数epochs设置为300,即训练300轮。图10是经过300次迭代之后得到的模型损失函数,图11是模型的训练准确度。训练结果显示:随着神经网络训练的进行,损失函数逐渐减小,训练精度逐渐提高,未发生过拟合,并且在迭代150次左右损失值下降到零,训练精度达到百分之百。在变化过程中出现的波动表示模型并不是在向着同一个方向学习,因此会出现波动。但最终准确率和损失都趋于平稳,即模型收敛。

      图  10  模型的损失函数

      Figure 10.  Loss function of the model

      图  11  模型的训练准确度

      Figure 11.  Training accuracy of the model

      表2是利用测试集在1DCNN-GRU模型下进行测试的准确率。实验结果显示:该模型的平均分类准确率达到了98.6%,达到了较好的识别效果。其中可以看出摔倒动作的识别率偏低,因为摔倒动作是一种复杂的全身动作,会导致PIR传感器采集热辐射信号变化的特征信息较多,因此识别率偏低。实验结果说明1DCNN-GRU网络模型对于文中的五种基础动作能够进行有效的区分。

      表 2  五种动作分类的准确率

      Table 2.  Accuracy of 5 types of action classification

      Action categoryRecognition accuracy
      Run98%
      Walk100%
      Sit100%
      Stand100%
      Fall95%

      在文中的研究中也对不同模型的性能进行了对比研究,表3所示为不同模型识别动作的训练时长及识别准确率的对比结果。GRU网络与传统的LSTM网络相比较具有更好的优势,在保证识别准确率几乎相同的前提下,GRU网络模型可以减少训练参数,加快收敛速度。尽管1DCNN的训练时长最短,但其识别的准确率还是较低的。因此在将特征向量输入到GRU网络之前,可利用卷积和池化进一步简化计算,在保证不丢失信号特征的同时得到性能最佳的训练模型。最终实验结果表明:通过结合1DCNN和RNN网络之后的模型既减小了运算负荷,又更能捕获实验数据的时序特征。因此文中提出的方法达到了较好的动作识别效果。

      表 3  不同模型的性能对比

      Table 3.  Performance comparison of different models

      Network modelAccuracyTraining time/s
      1DCNN93.8%178
      GRU88.6%467
      LSTM91.8%543
      1DCNN-LSTM98.6%245
      1DCNN-GRU98.8%195
    • 文中针对分布式PIR传感器检测系统提出了一种基于时域卷积与循环神经网络的混合网络模型进行人体动作识别的算法,该算法可以有效识别短时活动。提出的1DCNN-GRU网络模型既可以通过卷积神经网络压缩数据维度加快运算速度,又能让GRU网络充分利用时间序列的相关性。通过与其他几种传统方法相比可以看出:文中使用的1DCNN-GRU模型效果更好,在保证识别准确率高的同时大大提升了性能。

      此研究还存在一些不足,文中提出的方法只适用于室内环境对单个目标的基础动作的识别,多目标情况下采集到的信号复杂度较高,如何找到其中能准确表述各目标以及动作的特征信息将成为未来的研究方向。

参考文献 (20)

目录

    /

    返回文章
    返回