14 基于时空特征融合的动态手势识别

侯莹莹;李建军;

• 1:内蒙古科技大学信息工程学院

• 
  

摘要(Abstract)：

针对动态手势时间可变性和手势复杂空间关系等问题，提出融合时空特征的动态手势识别方法．基于动态手势视频的关键帧和手势关节点信息，计算得到角度特征、距离特征和轨迹特征．融合3类特征并利用SVM(Support Vector Machine)实现动态手势识别．实验表明，该方法更加完整地表述动态手势时空信息，运行时间更短，在UTD-MHAD数据集上识别率为96.47%，在中国交通警察指挥手势数据集上识别率为98.66%，识别效果较理想.

关键词(KeyWords)： 动态手势识别;手势关节点;时空特征;特征融合;SVM

基金项目(Foundation): 国家自然科学基金资助项目（62066036）

作者(Authors): 侯莹莹;李建军;

DOI: 10.16559/j.cnki.2095-2295.2022.02.015

参考文献(References)：

• [1] Rempel D,Camilleri M J,Lee D L. The design of hand gestures for human-computer interaction:Lessons from sign language interpreters[J]. International Journal of Human-Computer Studies,2014,72(10-11):728.

• [2]刘江华，程君实，陈佳品．基于光流的动态手势识别[J]．计算机工程，2002,28(04):104.

• [3]王贺贺，李菲菲，陈虬．基于稠密轨迹特征的动态手势识别研究[J]．电子科技，2020,33(12):17+27.

• [4]谷学静，周自朋，郭宇承，等．基于CNN-LSTM混合模型的动态手势识别方法[J]．计算机应用与软件，2021,38(11):205.

• [5]陈国良，葛凯凯，李聪浩．基于多特征HMM融合的复杂动态手势识别[J]．华中科技大学学报（自然科学版），2018,46(12):42.

• [6] Yang H,Tian Q,Zhuang Q,et al. Fast and robust key frame extraction method for gesture video based on highlevel feature representation[J]. Signal,Image and Video Processing,2021,15(3):1.

• [7] Cao Z,Hidalgo G,Simon T,et al. OpenPose:Realtime multi-person 2D pose estimation usi-ng part affinity fields[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2021,43(01):172.

• [8] Silva M,Marana A N. Human action recognit-ion in videos based on spatiotemporal features and bag-of-poses[J]. Applied Soft Computing,2020(95):106513.

• [9]郑潇，彭晓东，王嘉璇．基于姿态时空特征的人体行为识别方法[J]．计算机辅助设计与图形学学报，2018,30(09):1615.

• [10] Chen C,Jafari R,Kehtarnavaz N. UTD-MHAD:A multi modal dataset for human action recognition utilizing a depth ca-mera and a wearable inertial sensor[C]//IEEE international conference on image processing. Quebec City,Canada:IEEE,2015:168.

• [11]张丞．基于机器视觉的交警指挥手势检测识别技术研究与应用[D]．北京：北京工业大学，2019.

• [12]张欣怡，袁宏俊．正则化和交叉验证在组合预测模型中的应用[J]．计算机系统应用，2020,29(04):18.

• [13]李元祥，谢林柏．基于深度运动图和密集轨迹的行为识别算法[J]．计算机工程与应用，2020,56(03):194.

• [14]朱开军．基于注意力机制的立方卷积网络在行为识别中的研究[D]．昆明：云南大学，2019.

• [15] Cardenas E,Chavez G C. Multimodal hand gesture recognition combining temporal and pose Information based on CNN descriptors and histogram of cumulative magnitudes[J]. Journal of Visual Communication and Image Representation,2020(71):102772.

• [16] Singh R,Khurana R,Kushwaha A,et al. Combining CNN streams of dynamic image and depth data for action recognition[J]. Multimedia Systems,2020,26(5):313.

• [17]何坚，廖俊杰，张丞，等．基于长短时记忆和深度神经网络的视觉手势识别技术[J]．图学学报，2020,41(03):372.

• [18]王丽红．复杂场景下交通指挥手势识别算法研究与应用[D]．西安：长安大学，2020.