时空特征融合深度学习网络人体行为识别方法

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

时空特征融合深度学习网络人体行为识别方法

裴晓敏, 范慧杰, 唐延东

文章导航 > 红外与激光工程 > 2018 > 47(2): 203007-0203007(6)

裴晓敏, 范慧杰, 唐延东. 时空特征融合深度学习网络人体行为识别方法[J]. 红外与激光工程, 2018, 47(2): 203007-0203007(6). doi: 10.3788/IRLA201847.0203007

引用本文:

裴晓敏, 范慧杰, 唐延东. 时空特征融合深度学习网络人体行为识别方法[J]. 红外与激光工程, 2018, 47(2): 203007-0203007(6). doi: 10.3788/IRLA201847.0203007

Pei Xiaomin, Fan Huijie, Tang Yandong. Action recognition method of spatio-temporal feature fusion deep learning network[J]. Infrared and Laser Engineering, 2018, 47(2): 203007-0203007(6). doi: 10.3788/IRLA201847.0203007

Citation:

Pei Xiaomin, Fan Huijie, Tang Yandong. Action recognition method of spatio-temporal feature fusion deep learning network[J]. Infrared and Laser Engineering, 2018, 47(2): 203007-0203007(6). doi: 10.3788/IRLA201847.0203007

时空特征融合深度学习网络人体行为识别方法

doi: 10.3788/IRLA201847.0203007

1.
辽宁石油化工大学信息与控制工程学院,辽宁抚顺 113001;
2.
中国科学院沈阳自动化研究所机器人学国家重点实验室,辽宁沈阳 110016

基金项目:

国家自然科学基金（61401455）

作者简介:
裴晓敏(1981-),女,讲师,博士后,主要从事机器视觉方面的研究。Email:pxm_neu@126.com

中图分类号: TP183

Action recognition method of spatio-temporal feature fusion deep learning network

1.
School of Information and Control Engineering,Liaoning Shihua University,Fushun 113001,China;
2.
State Key Laboratory of Robotics,Shenyang Institute of Automation,Chinese Academy of Sciences,Shenyang 110016,China

摘要: 基于自然场景图像的人体行为识别方法中遮挡、背景干扰、光照不均匀等因素影响识别结果，利用人体三维骨架序列的行为识别方法可以克服上述缺点。首先，考虑人体行为的时空特性，提出一种时空特征融合深度学习网络人体骨架行为识别方法；其次，根据骨架几何特征建立视角不变性特征表示，CNN（Convolutional Neural Network）网络学习骨架的局部空域特征，作用于空域的LSTM（Long Short Term Memory）网络学习骨架空域节点之间的相关性特征，作用于时域的LSTM网络学习骨架序列时空关联性特征；最后，利用NTU RGB+D数据库验证文中算法。实验结果表明：算法识别精度有所提高，对于多视角骨架具有较强的鲁棒性。
- 时空特征 /
- 融合 /
- 骨架 /
- 视角不变
Abstract: Action recognition from natural scene was affected by complex illumination conditions and cluttered backgrounds. There was a growing interest in solving these problems by using 3D skeleton data. Firstly, considering the spatio-temporal features of human actions, a spatio-temporal fusion deep learning network for action recognition was proposed; Secondly, view angle invariant character was constructed based on geometric features of the skeletons. Local spatial character was extracted by short-time CNN networks. A spatio-LSTM network was used to learn the relation between joints of a skeleton frame. Temporal LSTM was used to learn spatio-temporal relation between skeleton sequences. Lastly, NTU RGB+D datasets were used to evaluate this network, the network proposed achieved the state-of-the-art performance for 3D human action analysis. Experimental results show that this network has strong robustness for view invariant sequences.
- spatio-temporal feature /
- fusion /
- skeleton /
- view invariant

[1]	Wang Jiang, Liu Zicheng. Mining actionlet ensemble for action recognition with depth cameras[C]//IEEE Conference on Computer Vision and Pattern Recognition,2012:1290-1297.
[2]	Luvizon D C, Tabia H. Learning features combination for human action recognition from skeleton sequences[J]. Pattern Recognition Letters, 2017, 99(11):13-20.
[3]	Ji XiaoPeng, Cheng Jun. The spatial laplacian and temporal energy pyramid representation for human action recognition using depth sequence[J]. Knowledge-Based System, 2017, 122:64-74.
[4]	Zhang Pengfei, Lan Cuiling. View adaptive recurrent neural networks for high performance human action recognition from skeleton data[C]//ICCV 2017. International Conference on Computer Vision, 2017:2136-2145.
[5]	Du Yong, Wang Wei, Wang Liang. Hierarchical recurrent neural network for skeleton based action recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2015:1110-1118.
[6]	Vivek Veeriah, Naifan Zhuang. Differential recurrent neural networks for action recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2015:4041-4049.
[7]	Zhu Wentao, Lan Cuiling. Co-occurrence feature learning for skeleton based action recognition using regularized deep LSTM networks[C]//AAAI, 2016:3697-3704.
[8]	Amir Shahroudy, Liu Jun. NTU RGB +D:A large scale dataset for 3D human activity analysis[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2016:1010-1019.
[9]	Liu Jun, Amir Shahroudy. Spatio-temporal LSTM with trust gates for 3D human action recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2016.
[10]	Liu Jun, Wang Gang. Skeleton based human action recognition with glo bal context-aware attention LSTM networks[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2017:3671-3680.
[11]	Huang Zhiwu, Wan Chengde. Deep learning on Lie groups for skeleton-based action recognitio[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2017:1243-1252.
[12]	Zhou Feiyan, Jin Linpeng, Dong Jun. Review of convolutional neural networks[J]. Chinese Journal of Computers, 2017, 40(6):1229-1250. (in Chinese)周飞燕, 金林鹏, 董军. 卷积神经网络研究综述[J]. 计算机学报, 2017, 40(6):1229-1250.
[13]	Luo Haibo, Xu Lingyun, Hui Bin, et al. Status and prospect of target tracking based on deep learning[J]. Infrared and Laser Engineering, 2017, 46(5):0502002. (in Chinese)罗海波, 许凌云, 惠斌, 等. 基于深度学习的目标跟踪方法研究现状与展望[J]. 红外与激光工程, 2017, 46(5):0502002.
[14]	Shao Chunyan, Ding Qinghai, Luo Haibo, et al. Target tracking using high-dimension data clustering[J]. Infrared and Laser Engineering, 2016, 45(4):0428002. (in Chinese)绍春艳, 丁庆海, 罗海波, 等. 采用高维数据聚类的目标跟踪[J]. 红外与激光工程, 2016, 45(4):0428002.

[1]	陈宏宇, 罗海波, 惠斌, 常铮. 采用多特征融合的子块自动提取方法 . 红外与激光工程, 2021, 50(8): 20200407-1-20200407-9. doi: 10.3788/IRLA20200407
[2]	申亚丽. 基于特征融合的RGBT双模态孪生跟踪网络 . 红外与激光工程, 2021, 50(3): 20200459-1-20200459-7. doi: 10.3788/IRLA20200459
[3]	徐云飞, 张笃周, 王立, 华宝成. 非合作目标局部特征识别轻量化特征融合网络设计 . 红外与激光工程, 2020, 49(7): 20200170-1-20200170-7. doi: 10.3788/IRLA20200170
[4]	裴晓敏, 范慧杰, 唐延东. 多通道时空融合网络双人交互行为识别 . 红外与激光工程, 2020, 49(5): 20190552-20190552-6. doi: 10.3788/IRLA20190552
[5]	焦安波, 邵立云, 李晨曦, 马俊凯, 王学娟, 罗海波. 基于直线组仿射不变特征的自动目标识别算法 . 红外与激光工程, 2019, 48(S2): 142-148. doi: 10.3788/IRLA201948.S226003
[6]	贾桂敏, 李树一, 杨金锋, 夏冬. 指静脉红外图像特征不变性编码新方法 . 红外与激光工程, 2018, 47(9): 926006-0926006(7). doi: 10.3788/IRLA201847.0926006
[7]	程全, 樊宇, 刘玉春, 王志良. 多特征融合的车辆识别技术 . 红外与激光工程, 2018, 47(7): 726003-0726003(6). doi: 10.3788/IRLA201847.0726003
[8]	尹丽华, 李范鸣, 刘士建. 基于区域分割与融合的全景稳像算法 . 红外与激光工程, 2018, 47(9): 926004-0926004(10). doi: 10.3788/IRLA201847.0926004
[9]	张汉松, 陈建裕, 侯淑涛, 霍奕任. 复杂背景下沿骨架的遥感影像拼接线自动生成 . 红外与激光工程, 2016, 45(S1): 207-213. doi: 10.3788/IRLA201645.S126003
[10]	张仲瑜, 焦淑红. 多特征融合的红外舰船目标检测方法 . 红外与激光工程, 2015, 44(S1): 29-34.
[11]	赵爱罡, 王宏力, 杨小冈, 陆敬辉, 何星. 融合几何特征的压缩感知SIFT描述子 . 红外与激光工程, 2015, 44(3): 1085-1091.
[12]	杜兴, 张荣庆. 基于色彩和纹理特征融合的模糊人脸识别方法 . 红外与激光工程, 2014, 43(12): 4192-4197.
[13]	龚卫国, 刘润瑶, 张睿. 光照突变下融合多类特征的场景分割方法 . 红外与激光工程, 2014, 43(12): 4164-4169.
[14]	童涛, 杨桄, 孟强强, 孙嘉成, 叶怡, 陈晓榕. 基于边缘特征的多传感器图像融合算法 . 红外与激光工程, 2014, 43(1): 311-317.
[15]	王国刚, 史洪岩, 汪滢, 袁德成. 仿射不变子空间特征及其在图像匹配中的应用 . 红外与激光工程, 2014, 43(2): 659-664.
[16]	王灿进, 孙涛, 陈娟. 一种新的快速局部不变特征算法 . 红外与激光工程, 2014, 43(6): 2013-2020.
[17]	杨一帆, 田雁, 杨帆, 黄彪. 基于改进Mean-Shift 算法的红外小目标跟踪 . 红外与激光工程, 2014, 43(7): 2164-2169.
[18]	周强, 赵巨峰, 冯华君, 徐之海, 李奇, 陈跃庭. 基于偏振成像的红外图像增强 . 红外与激光工程, 2014, 43(1): 39-47.
[19]	李亮, 顾国华, 钱惟贤, 陈钱, 任建乐. 基于特征点和泊松融合的红外序列图像拼接 . 红外与激光工程, 2013, 42(9): 2584-2588.
[20]	杨亚威, 李俊山, 杨威, 赵方舟. 利用稀疏化生物视觉特征的多类多视角目标检测方法 . 红外与激光工程, 2012, 41(1): 267-272.

WeChat

点击查看大图

计量

文章访问数: 547
HTML全文浏览量: 119
PDF下载量: 271
被引次数: 0

时空特征融合深度学习网络人体行为识别方法

doi: 10.3788/IRLA201847.0203007

1. 辽宁石油化工大学信息与控制工程学院,辽宁抚顺 113001;

2. 中国科学院沈阳自动化研究所机器人学国家重点实验室,辽宁沈阳 110016

作者简介:
裴晓敏(1981-),女,讲师,博士后,主要从事机器视觉方面的研究。Email:pxm_neu@126.com

收稿日期: 2017-08-10
修回日期: 2017-10-28
刊出日期: 2018-02-25

基金项目:

国家自然科学基金（61401455）

中图分类号: TP183

关键词:

时空特征 /
融合 /
骨架 /
视角不变

摘要: 基于自然场景图像的人体行为识别方法中遮挡、背景干扰、光照不均匀等因素影响识别结果，利用人体三维骨架序列的行为识别方法可以克服上述缺点。首先，考虑人体行为的时空特性，提出一种时空特征融合深度学习网络人体骨架行为识别方法；其次，根据骨架几何特征建立视角不变性特征表示，CNN（Convolutional Neural Network）网络学习骨架的局部空域特征，作用于空域的LSTM（Long Short Term Memory）网络学习骨架空域节点之间的相关性特征，作用于时域的LSTM网络学习骨架序列时空关联性特征；最后，利用NTU RGB+D数据库验证文中算法。实验结果表明：算法识别精度有所提高，对于多视角骨架具有较强的鲁棒性。

English Abstract

全文HTML

参考文献 (14)

/

下载: 全尺寸图片幻灯片

分享

用微信扫码二维码

分享至好友和朋友圈

返回