基于轻量级图卷积网络的校园暴力行为识别

李颀; 邓耀辉; 王娇

doi:10.37188/CJLCD.2021-0229

您当前的位置：

首页 >

文章列表页 >

基于轻量级图卷积网络的校园暴力行为识别

图像处理 | 更新时间：2022-06-14

- 基于轻量级图卷积网络的校园暴力行为识别
- Campus violence action recognition based on lightweight graph convolution network
- 液晶与显示 2022年37卷第4期页码：530-538
- 作者机构：
  
  1.陕西科技大学电子信息与人工智能学院，陕西西安 710021
  2.陕西科技大学电气与控制工程学院，陕西西安 710021
- 作者简介：
  
  [ "李颀（1973—），女，陕西西安人，博士，教授，2013年于西北工业大学获得博士学位，主要从事机器视觉、信息融合等方面的研究。E-mail： liqidq@sust.edu.cn" ]
  [ "邓耀辉（1996—），男，陕西西安人，硕士研究生，2019年于陕西科技大学获得学士学位，主要从事信息融合和智能识别等方面的研究。E-mail： 173743077@qq.com" ]
- 基金信息：
  
  西安市科技计划(201806117YF05NC13（1）┣201305);陕西科技大学博士科研启动基金(BJ13-15);Doctoral Research Start-up Fund of Shaanxi University of Science and Technology(BJ13-15)
- DOI：10.37188/CJLCD.2021-0229
  中图分类号： TP391.4
- 收稿日期：2021-08-31，
  
  修回日期：2021-10-27，
  
  纸质出版日期：2022-04-05
- 稿件说明：
移动端阅览
李颀, 邓耀辉, 王娇. 基于轻量级图卷积网络的校园暴力行为识别[J]. 液晶与显示, 2022,37(4):530-538.

Qi LI, Yao-hui DENG, Jiao WANG. Campus violence action recognition based on lightweight graph convolution network[J]. Chinese journal of liquid crystals and displays, 2022, 37(4): 530-538.
李颀, 邓耀辉, 王娇. 基于轻量级图卷积网络的校园暴力行为识别[J]. 液晶与显示, 2022,37(4):530-538. DOI： 10.37188/CJLCD.2021-0229.

Qi LI, Yao-hui DENG, Jiao WANG. Campus violence action recognition based on lightweight graph convolution network[J]. Chinese journal of liquid crystals and displays, 2022, 37(4): 530-538. DOI： 10.37188/CJLCD.2021-0229.

摘要

针对卷积神经网络和图卷积网络的两类算法在校园暴力行为识别中识别速度和识别率不高的问题，本文提出一种结合多信息流数据融合和时空注意力机制的轻量级图卷积网络。以人体骨架为研究对象，首先融合关节点和骨架相关的多信息流数据，通过减少网络参数量来提高运算速度；其次构建基于非局部运算的时空注意力模块关注最具动作判别性的关节点，通过减少冗余信息提高识别准确率；接着构建时空特征提取模块获得关注关节点时空关联信息；最终由Softmax层实现动作识别。实验结果表明：在校园安防实景中对拳打、脚踢、倒地、推搡、打耳光和跪地6种典型动作识别准确率分别为94.5%，97.0%，98.5%，95.0%，94.5%，95.5%，识别速度最大为20.6 fps。在UCF101数据集上对比两类基准网络，识别速度和准确率均有提升，验证了方法对其他动作的通用性，可以满足对校园典型暴力行为识别的实时性和可靠性要求。

Abstract

Aiming at the problem of low recognition speed and recognition rate of convolution neural network and graph convolution network in campus violence recognition， this paper proposes a lightweight graph convolution network combined with multi-information flow data fusion and spatio-temporal attention mechanism. The human skeleton is taken as the research object. Firstly， the multi-information flow data related to joint points and skeleton are fused to improve the operation speed by reducing the number of network parameters. Secondly， the spatio-temporal attention module based on nonlocal operation is constructed to focus on the most action discriminant nodes， and the recognition accuracy is improved by reducing redundant information. Then， the spatio-temporal feature extraction module is constructed to obtain the spatio-temporal correlation information of the concerned nodes. Finally， action recognition is realized by Softmax layer. The experimental results show that the recognition accuracy of boxing， kicking， falling， pushing， earlighting and kneeling in campus security scene is 94.5%， 97.0%， 98.5%， 95.0%， 94.5% and 95.5%， respectively， and the maximum recognition speed is 20.6 fps. Compared with the two benchmark networks on UCF101 dataset， the recognition speed and accuracy are improved， which verifies the universality of the method for other actions. Therefore， it can meet the real-time and reliability requirements of typical campus violence identification.

关键词

Keywords

references

林国军，杨明中，陈明举，等 . 一种肤色定位的人脸检测算法［J］. 液晶与显示， 2019 ， 34 （ 1 ）： 70 - 73 . doi: 10.3788/yjyxs20193401.0070 http://dx.doi.org/10.3788/yjyxs20193401.0070

LIN G J ， YANG M Z ， CHEN M J ， et al . Face detection algorithm based on skin color location ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 1 ）： 70 - 73 . （in Chinese） . doi: 10.3788/yjyxs20193401.0070 http://dx.doi.org/10.3788/yjyxs20193401.0070

李鹏飞，许金凯，韩文波，等 . 基于S3C2440的人脸识别平台的设计［J］. 液晶与显示， 2014 ， 29 （ 3 ）： 417 - 421 . doi: 10.3788/yjyxs20142903.0417 http://dx.doi.org/10.3788/yjyxs20142903.0417

LI P F ， XU J K ， HAN W B ， et al . Design of face identification platform based on S3C2440 ［J］. Chinese Journal of Liquid Crystals and Displays ， 2014 ， 29 （ 3 ）： 417 - 421 . （in Chinese） . doi: 10.3788/yjyxs20142903.0417 http://dx.doi.org/10.3788/yjyxs20142903.0417

胡韬 . 基于深度学习卷积神经网络的人体行为识别研究［J］. 科技传播， 2020 ， 12 （ 6 ）： 130 - 131 . doi: 10.3969/j.issn.1674-6708.2020.06.062 http://dx.doi.org/10.3969/j.issn.1674-6708.2020.06.062

HU T . Research on human behavior recognition based on deep learning convolutional neural network ［J］. Public Communication of Science & Technology ， 2020 ， 12 （ 6 ）： 130 - 131 . （in Chinese） . doi: 10.3969/j.issn.1674-6708.2020.06.062 http://dx.doi.org/10.3969/j.issn.1674-6708.2020.06.062

蔡强，邓毅彪，李海生，等 . 基于深度学习的人体行为识别方法综述［J］. 计算机科学， 2020 ， 47 （ 4 ）： 85 - 93 . doi: 10.11896/jsjkx.190300005 http://dx.doi.org/10.11896/jsjkx.190300005

CAI Q ， DENG Y B ， LI H S ， et al . Survey on human action recognition based on deep learning ［J］. Computer Science ， 2020 ， 47 （ 4 ）： 85 - 93 . （in Chinese） . doi: 10.11896/jsjkx.190300005 http://dx.doi.org/10.11896/jsjkx.190300005

YANG X D ， TIAN Y L . Effective 3D action recognition using EigenJoints ［J］. Journal of Visual Communication and Image Representation ， 2014 ， 25 （ 1 ）： 2 - 11 . doi: 10.1016/j.jvcir.2013.03.001 http://dx.doi.org/10.1016/j.jvcir.2013.03.001

LI B ， DAI Y C ， CHENG X L ， et al . Skeleton based action recognition using translation-scale invariant image mapping and multi-scale deep CNN ［C］// Proceedings of 2017 IEEE International Conference on Multimedia & Expo Workshops . Hong Kong， China ： IEEE ， 2017 ： 601 - 604 . doi: 10.1109/icmew.2017.8026282 http://dx.doi.org/10.1109/icmew.2017.8026282

YAN S J ， XIONG Y J ， LIN D H . Spatial temporal graph convolutional networks for skeleton-based action recognition ［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence . New Orleans ： AAAI Press ， 2018 ： 7444 - 7452 .

赵明富，刘帅，宋涛，等 . 基于残差独立循环神经网络的空间增强人体骨架行为识别［J］. 激光杂志， 2020 ， 41 （ 7 ）： 37 - 43 .

ZHAO M F ， LIU S ， SONG T ， et al . Spatial enhancement of human skeleton behavior recognition based on residual independent recurrent neural network ［J］. Laser Journal ， 2020 ， 41 （ 7 ）： 37 - 43 . （in Chinese）

曹毅，刘晨，黄子龙，等 . 时空自适应图卷积神经网络的骨架行为识别［J］. 华中科技大学学报（自然科学版）， 2020 ， 48 （ 11 ）： 5 - 10 .

CAO Y ， LIU C ， HUANG Z L ， et al . Skeleton-based action recognition based on spatio-temporal adaptive graph convolutional neural-network ［J］. Journal of Huazhong University of Science and Technology （Nature Science Edition）， 2020 ， 48 （ 11 ）： 5 - 10 . （in Chinese）

王健宗，孔令炜，黄章成，等 . 图神经网络综述［J］. 计算机工程， 2021 ， 47 （ 4 ）： 1 - 12 . doi: 10.19678/j.issn.1000-3428.0058382 http://dx.doi.org/10.19678/j.issn.1000-3428.0058382

WANG J Z ， KONG L W ， HUANG Z C ， et al . Survey of graph neural network ［J］. Computer Engineering ， 2021 ， 47 （ 4 ）： 1 - 12 . （in Chinese） . doi: 10.19678/j.issn.1000-3428.0058382 http://dx.doi.org/10.19678/j.issn.1000-3428.0058382

孔玮，刘云，李辉，等 . 基于图卷积网络的行为识别方法综述［J］. 控制与决策， 2021 ， 36 （ 7 ）： 1537 - 1546 .

KONG W ， LIU Y ， LI H ， et al . A survey of action recognition methods based on graph convolutional network ［J］. Control and Decision ， 2021 ， 36 （ 7 ）： 1537 - 1546 . （in Chinese）

朱洪堃，殷佳炜，冯文宇，等 . 一种轻量化实时人体姿势检测模型研究与应用［J］. 系统仿真学报， 2020 ， 32 （ 11 ）： 2155 - 2165 . doi: 10.16182/j.issn1004731x.joss.20-FZ0308 http://dx.doi.org/10.16182/j.issn1004731x.joss.20-FZ0308

ZHU H K ， YIN J W ， FENG W Y ， et al . Research and application of a lightweight real-time human posture detection model ［J］. Journal of System Simulation ， 2020 ， 32 （ 11 ）： 2155 - 2165 . （in Chinese） . doi: 10.16182/j.issn1004731x.joss.20-FZ0308 http://dx.doi.org/10.16182/j.issn1004731x.joss.20-FZ0308

朱建宝，许志龙，孙玉玮，等 . 基于OpenPose人体姿态识别的变电站危险行为检测［J］. 自动化与仪表， 2020 ， 35 （ 2 ）： 47 - 51 .

ZHU J B ， XU Z L ， SUN Y W ， et al . Detection of dangerous behaviors in power stations based on OpenPose multi-person attitude recognition ［J］. Automation & Instrumentation ， 2020 ， 35 （ 2 ）： 47 - 51 . （in Chinese）

KARPATHY A ， TODERICI G ， SHETTY S ， et al . Large-scale video classification with convolutional neural networks ［C］// Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition . Columbus ： IEEE ， 2014 ： 1725 - 1732 . doi: 10.1109/cvpr.2014.223 http://dx.doi.org/10.1109/cvpr.2014.223

ZHANG P F ， LAN C L ， XING J L ， et al . View adaptive neural networks for high performance skeleton-based human action recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2019 ， 41 （ 8 ）： 1963 - 1978 . doi: 10.1109/tpami.2019.2896631 http://dx.doi.org/10.1109/tpami.2019.2896631

浏览量

196

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

暂无数据