09 基于改进双流ResNet网络的人体行为识别算法研究

贾永乐,周李涌,刘月峰,弓彦章

• 1:内蒙古科技大学信息工程学院

• 2:内蒙古自治区纪监察大数据实验室包头大数据研发应用中心

• 
  

摘要(Abstract)：

针对现有的双流卷积神经网络，无法充分的融合视频的时序信息，从而对视频的行为理解不充分的问题，提出了一种改进的双流网络模型.首先在原双流网络中，分别将VGG-16神经网络替换为改进的ResNet神经网络，对单帧RGB图像特征进行预处理，将提取到的数据特征输入到改进的残差网络中.其次，在时间流部分，将连续光流图作为改进的ResNet网络结构的输入.最后，将得到的空间静态信息和运动信息在Fusion层进行融合，利用Softmax最大似然函数完成行为识别的任务，得到最终结果.实验结果表明：在UCF-101和HMDB-51数据集上，识别算法的平均精度分别为94.2%和68.4%,与传统方法相比，准确率有所提升，验证了该方法的有效性.

关键词(KeyWords)： ResNet;光流图;时空特征;人体行为识别

基金项目(Foundation): 内蒙古自治区自然科学基金资助项目(2019M506021);; 内蒙古自治区研究生教育教学改革研究与实践资助项目(YJG20191012710);; 内蒙古科技大学专项资助项目(2019ZD025)

作者(Author): 贾永乐,周李涌,刘月峰,弓彦章

DOI: 10.16559/j.cnki.2095-2295.2023.02.009

参考文献(References)：

• [1] TRAN D,BOURDEV L,FERGUS R,et al.Learning spatio temporal features with 3D convolutional networks[C]// Proceedings of the IEEE international conference on computer vision.Santiago,Chile:IEEE,2015:4489.

• [2] 张继凯，顾兰君.基于骨架信息的人体动作识别与实时交互技术[J].内蒙古科技大学学报，2020,39(03):266.

• [3] FEICHTENHOFER C,PINZ A,ZISSERMAN A.Convolutional two-stream network fusion for video action recognition[C]// Proceedings of the IEEE conference on computer vision and pattern recognition.Las Vegas,NV USA:IEEE,2016:1933.

• [4] 周帅骏，任福继，堵俊，等.融合背景先验与中心先验的显著性目标检测[J].中国图象图形学报，2017,22(5):584.

• [5] HE K,ZHANG X,REN S,et al.Deep residual learning for image recognition[C]// Proceedings of the IEEE conference on computer vision and pattern recognition.Las,Vegas,NV,USA:IEEE,2016,770.

• [6] ZACH C,POCK T,BISCHOF H.A duality based approach for realtime TV-L1optical flow[C]// Proceedings of the 2007 joint pattern recognition symposium,LNCS 4713.Heidelberg,Germany,2007:214.

• [7] 张继凯，马浩宇.基于单目RGB摄像头的空间结构识别算法[J].内蒙古科技大学报，2019,38(03):265.

• [8] SIMONYAN K,ZISSERMAN A.Two-stream convolutional networks for action recognition in videos[C]// Proceedings of the 27th international conference on neural information processing systems.Cambridge:MIT Press,2014:568.

• [9] 王毅，马翠红，毛志强.基于时空双流融合网络与Attention模型的行为识别[J].计算机应用与软件，2020,37(08):156.

• [10] DAI C,LIU X,LAI J.Human action recognition using two-stream attention based LSTM networks[J].Applied Soft Computing,2020,86:105820.

• [11] 黄友文，万超伦，冯恒.基于CNN与LSTM的多特征融合人体行为识别算法[J].激光与光电子学进展，2019,56(7):71.

• [12] VAROL G,LAPTEV I,SCHMID C.Long-term temporal convolutions for action recognition[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2018,40(6):1510.