Campus violence action recognition based on lightweight graph convolution network

Qi LI; Yao-hui DENG; Jiao WANG

doi:10.37188/CJLCD.2021-0229

您当前的位置：

首页 >

文章列表页 >

Campus violence action recognition based on lightweight graph convolution network

Image Processing | 更新时间：2022-06-14

- Campus violence action recognition based on lightweight graph convolution network
- Chinese Journal of Liquid Crystals and Displays Vol. 37, Issue 4, Pages: 530-538(2022)
- 作者机构：
  
  1.陕西科技大学电子信息与人工智能学院，陕西西安 710021
  2.陕西科技大学电气与控制工程学院，陕西西安 710021
- 作者简介：
- 基金信息：
  
  Xi’an Science and Technology Plan Project（No.201806117YF05NC13（1））(201806117YF05NC13（1）┣201305);Xi’an Weiyang District Science and Technology Plan Project(BJ13-15)
- DOI：10.37188/CJLCD.2021-0229
  CLC： TP391.4
- Received：31 August 2021，
  
  Revised：27 October 2021，
  
  Published：05 April 2022
- 稿件说明：
移动端阅览
Qi LI, Yao-hui DENG, Jiao WANG. Campus violence action recognition based on lightweight graph convolution network[J]. Chinese journal of liquid crystals and displays, 2022, 37(4): 530-538.
DOI：

Qi LI, Yao-hui DENG, Jiao WANG. Campus violence action recognition based on lightweight graph convolution network[J]. Chinese journal of liquid crystals and displays, 2022, 37(4): 530-538. DOI： 10.37188/CJLCD.2021-0229.

摘要

针对卷积神经网络和图卷积网络的两类算法在校园暴力行为识别中识别速度和识别率不高的问题，本文提出一种结合多信息流数据融合和时空注意力机制的轻量级图卷积网络。以人体骨架为研究对象，首先融合关节点和骨架相关的多信息流数据，通过减少网络参数量来提高运算速度；其次构建基于非局部运算的时空注意力模块关注最具动作判别性的关节点，通过减少冗余信息提高识别准确率；接着构建时空特征提取模块获得关注关节点时空关联信息；最终由Softmax层实现动作识别。实验结果表明：在校园安防实景中对拳打、脚踢、倒地、推搡、打耳光和跪地6种典型动作识别准确率分别为94.5%，97.0%，98.5%，95.0%，94.5%，95.5%，识别速度最大为20.6 fps。在UCF101数据集上对比两类基准网络，识别速度和准确率均有提升，验证了方法对其他动作的通用性，可以满足对校园典型暴力行为识别的实时性和可靠性要求。

Abstract

Aiming at the problem of low recognition speed and recognition rate of convolution neural network and graph convolution network in campus violence recognition， this paper proposes a lightweight graph convolution network combined with multi-information flow data fusion and spatio-temporal attention mechanism. The human skeleton is taken as the research object. Firstly， the multi-information flow data related to joint points and skeleton are fused to improve the operation speed by reducing the number of network parameters. Secondly， the spatio-temporal attention module based on nonlocal operation is constructed to focus on the most action discriminant nodes， and the recognition accuracy is improved by reducing redundant information. Then， the spatio-temporal feature extraction module is constructed to obtain the spatio-temporal correlation information of the concerned nodes. Finally， action recognition is realized by Softmax layer. The experimental results show that the recognition accuracy of boxing， kicking， falling， pushing， earlighting and kneeling in campus security scene is 94.5%， 97.0%， 98.5%， 95.0%， 94.5% and 95.5%， respectively， and the maximum recognition speed is 20.6 fps. Compared with the two benchmark networks on UCF101 dataset， the recognition speed and accuracy are improved， which verifies the universality of the method for other actions. Therefore， it can meet the real-time and reliability requirements of typical campus violence identification.

关键词

Keywords

references

林国军，杨明中，陈明举，等 . 一种肤色定位的人脸检测算法［J］. 液晶与显示， 2019 ， 34 （ 1 ）： 70 - 73 . doi: 10.3788/yjyxs20193401.0070 http://dx.doi.org/10.3788/yjyxs20193401.0070

LIN G J ， YANG M Z ， CHEN M J ， et al . Face detection algorithm based on skin color location ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 1 ）： 70 - 73 . （in Chinese） . doi: 10.3788/yjyxs20193401.0070 http://dx.doi.org/10.3788/yjyxs20193401.0070

李鹏飞，许金凯，韩文波，等 . 基于S3C2440的人脸识别平台的设计［J］. 液晶与显示， 2014 ， 29 （ 3 ）： 417 - 421 . doi: 10.3788/yjyxs20142903.0417 http://dx.doi.org/10.3788/yjyxs20142903.0417

LI P F ， XU J K ， HAN W B ， et al . Design of face identification platform based on S3C2440 ［J］. Chinese Journal of Liquid Crystals and Displays ， 2014 ， 29 （ 3 ）： 417 - 421 . （in Chinese） . doi: 10.3788/yjyxs20142903.0417 http://dx.doi.org/10.3788/yjyxs20142903.0417

胡韬 . 基于深度学习卷积神经网络的人体行为识别研究［J］. 科技传播， 2020 ， 12 （ 6 ）： 130 - 131 . doi: 10.3969/j.issn.1674-6708.2020.06.062 http://dx.doi.org/10.3969/j.issn.1674-6708.2020.06.062

HU T . Research on human behavior recognition based on deep learning convolutional neural network ［J］. Public Communication of Science & Technology ， 2020 ， 12 （ 6 ）： 130 - 131 . （in Chinese） . doi: 10.3969/j.issn.1674-6708.2020.06.062 http://dx.doi.org/10.3969/j.issn.1674-6708.2020.06.062

蔡强，邓毅彪，李海生，等 . 基于深度学习的人体行为识别方法综述［J］. 计算机科学， 2020 ， 47 （ 4 ）： 85 - 93 . doi: 10.11896/jsjkx.190300005 http://dx.doi.org/10.11896/jsjkx.190300005

CAI Q ， DENG Y B ， LI H S ， et al . Survey on human action recognition based on deep learning ［J］. Computer Science ， 2020 ， 47 （ 4 ）： 85 - 93 . （in Chinese） . doi: 10.11896/jsjkx.190300005 http://dx.doi.org/10.11896/jsjkx.190300005

YANG X D ， TIAN Y L . Effective 3D action recognition using EigenJoints ［J］. Journal of Visual Communication and Image Representation ， 2014 ， 25 （ 1 ）： 2 - 11 . doi: 10.1016/j.jvcir.2013.03.001 http://dx.doi.org/10.1016/j.jvcir.2013.03.001

LI B ， DAI Y C ， CHENG X L ， et al . Skeleton based action recognition using translation-scale invariant image mapping and multi-scale deep CNN ［C］// Proceedings of 2017 IEEE International Conference on Multimedia & Expo Workshops . Hong Kong， China ： IEEE ， 2017 ： 601 - 604 . doi: 10.1109/icmew.2017.8026282 http://dx.doi.org/10.1109/icmew.2017.8026282

YAN S J ， XIONG Y J ， LIN D H . Spatial temporal graph convolutional networks for skeleton-based action recognition ［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence . New Orleans ： AAAI Press ， 2018 ： 7444 - 7452 .

赵明富，刘帅，宋涛，等 . 基于残差独立循环神经网络的空间增强人体骨架行为识别［J］. 激光杂志， 2020 ， 41 （ 7 ）： 37 - 43 .

ZHAO M F ， LIU S ， SONG T ， et al . Spatial enhancement of human skeleton behavior recognition based on residual independent recurrent neural network ［J］. Laser Journal ， 2020 ， 41 （ 7 ）： 37 - 43 . （in Chinese）

曹毅，刘晨，黄子龙，等 . 时空自适应图卷积神经网络的骨架行为识别［J］. 华中科技大学学报（自然科学版）， 2020 ， 48 （ 11 ）： 5 - 10 .

CAO Y ， LIU C ， HUANG Z L ， et al . Skeleton-based action recognition based on spatio-temporal adaptive graph convolutional neural-network ［J］. Journal of Huazhong University of Science and Technology （Nature Science Edition）， 2020 ， 48 （ 11 ）： 5 - 10 . （in Chinese）

王健宗，孔令炜，黄章成，等 . 图神经网络综述［J］. 计算机工程， 2021 ， 47 （ 4 ）： 1 - 12 . doi: 10.19678/j.issn.1000-3428.0058382 http://dx.doi.org/10.19678/j.issn.1000-3428.0058382

WANG J Z ， KONG L W ， HUANG Z C ， et al . Survey of graph neural network ［J］. Computer Engineering ， 2021 ， 47 （ 4 ）： 1 - 12 . （in Chinese） . doi: 10.19678/j.issn.1000-3428.0058382 http://dx.doi.org/10.19678/j.issn.1000-3428.0058382

孔玮，刘云，李辉，等 . 基于图卷积网络的行为识别方法综述［J］. 控制与决策， 2021 ， 36 （ 7 ）： 1537 - 1546 .

KONG W ， LIU Y ， LI H ， et al . A survey of action recognition methods based on graph convolutional network ［J］. Control and Decision ， 2021 ， 36 （ 7 ）： 1537 - 1546 . （in Chinese）

朱洪堃，殷佳炜，冯文宇，等 . 一种轻量化实时人体姿势检测模型研究与应用［J］. 系统仿真学报， 2020 ， 32 （ 11 ）： 2155 - 2165 . doi: 10.16182/j.issn1004731x.joss.20-FZ0308 http://dx.doi.org/10.16182/j.issn1004731x.joss.20-FZ0308

ZHU H K ， YIN J W ， FENG W Y ， et al . Research and application of a lightweight real-time human posture detection model ［J］. Journal of System Simulation ， 2020 ， 32 （ 11 ）： 2155 - 2165 . （in Chinese） . doi: 10.16182/j.issn1004731x.joss.20-FZ0308 http://dx.doi.org/10.16182/j.issn1004731x.joss.20-FZ0308

朱建宝，许志龙，孙玉玮，等 . 基于OpenPose人体姿态识别的变电站危险行为检测［J］. 自动化与仪表， 2020 ， 35 （ 2 ）： 47 - 51 .

ZHU J B ， XU Z L ， SUN Y W ， et al . Detection of dangerous behaviors in power stations based on OpenPose multi-person attitude recognition ［J］. Automation & Instrumentation ， 2020 ， 35 （ 2 ）： 47 - 51 . （in Chinese）

KARPATHY A ， TODERICI G ， SHETTY S ， et al . Large-scale video classification with convolutional neural networks ［C］// Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition . Columbus ： IEEE ， 2014 ： 1725 - 1732 . doi: 10.1109/cvpr.2014.223 http://dx.doi.org/10.1109/cvpr.2014.223

ZHANG P F ， LAN C L ， XING J L ， et al . View adaptive neural networks for high performance skeleton-based human action recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2019 ， 41 （ 8 ）： 1963 - 1978 . doi: 10.1109/tpami.2019.2896631 http://dx.doi.org/10.1109/tpami.2019.2896631

Views

196

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

No data

Related Author

LI Qi

DENG Yao‒hui

WANG Jiao

Related Institution

No data

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰