14 基于骨架信息的人体动作识别与实时交互技术

张继凯;顾兰君;

• 1:内蒙古科技大学信息工程学院

•  

摘要(Abstract)：

基于人体姿态的自然人机交互中存在动作识别准确率低,连续动作区分度差等问题,提出一种基于骨架信息的人体动作识别与实时交互的方法.首先获取人体中的18个关键点,然后采集不同动作类型的二维坐标作为数据集,最后通过堆叠模型训练,完成人体动作的识别.对于手部运动,进行轨迹追踪与动作拟合,实现7种交互方案.在相同的实验环境中,与LSTM方法进行比较,结果表明能够以较高的准确率识别连续动作.

关键词(KeyWords)： 骨架信息;姿态估计;堆叠模型;人体动作识别;运动追踪;肢体交互

基金项目(Foundation): 国家自然科学基金资助项目(61771266);; 内蒙古自治区自然科学基金资助项目(2019BS06005);; 内蒙古自治区科技计划基金资助项目(2019GG138);; 内蒙古自治区高等学校科学研究基金资助项目(NJZY20095);; 内蒙古科技大学创新基金资助项目(2017QDL-B19)

作者(Author): 张继凯;顾兰君;

Email:

DOI:

参考文献(References)：

• [1] 桑海峰,田秋洋.面向人机交互的快速人体动作识别系统[J].计算机工程与应用,2019,55(6):101.

• [2] 李一波,丁裕林.基于智能监控的独居老人室内异常行为检测[J].计算机应用与软件,2014,31(2):188.

• [3] AGGARWAL J K,XIA L.Human activity recognition from 3d data:a review[J].Pattern Recognition Letters,2014,48(1):70.

• [4] LOWE D G.Distinctive image features from scale-invariant key-points[J].International Journal of Computer Vision(IJCV),2004,60(2):91.

• [5] WANG H,KLASER A,SCHMID C,et al.Dense trajectories and motion boundary descriptors for action recognition[J].International Journal of Computer Vision (IJCV),2013,10 3(1):60.

• [6] 冯铭,陈军.基于局部二进制描述符的高效动作识别方法[J].小型微型计算机系统,2016,37(6):1289.

• [7] ZHANG H M,SONG Y H,ZHANG Y L.Graph Convolutional LSTM Model for Skeleton-Based Action Recognition[C]// 2019 IEEE International Conference on Multimedia and Expo (ICME).Shanghai,China:IEEE,2019:412.

• [8] 张瑞,李其申,储珺.基于3D卷积神经网络的人体动作识别算法[J].计算机工程,2019,45(1):259.

• [9] 裴晓敏,范慧杰,唐延东.时空特征融合深度学习网络人体行为识别方法[J].红外与激光工程,2018,47(2):55.

• [10] 刘沿,姚亚强,陈欢欢.一种使用3D骨架片段表示的人体动作识别方法[J].小型微型计算机系统,2018,39(3):508.

• [11] SAGGESE A,NICOLA S.Learning skeleton representations for human action recognition[J].Pattern Recognition Letters,2019,118(2):23.

• [12] SHI L,ZHANG Y F,CHENG J,et al.Skeleton-based action recognition with directed graph neural networks[C]// IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2019.Long Beach,USA:IEEE,2019:7904.

• [13] LUVIZON D C,TABIA H,PICARD D.Learning features combinationfor human action recognition from skeleton sequences[J].Pattern Recognition Letters,2017,99(11):13.

• [14] FENG Y,LI G,YUAN C F,et al.Perspective independent skeleton behavior recognition based on spatiotemporal attention depth networks [J].Journal of Computer Aided Design and Graphics,2018,30(12):2271.