基于集成生成对抗网络的视频异常事件检测方法

顾嘉城; 龙英文; 吉明明

doi:10.37188/CJLCD.2022-0151

您当前的位置：

首页 >

文章列表页 >

基于集成生成对抗网络的视频异常事件检测方法

图像处理 | 更新时间：2022-11-22

- 基于集成生成对抗网络的视频异常事件检测方法
- Video anomaly detection based on ensemble generative adversarial networks
- 液晶与显示 2022年37卷第12期页码：1607-1613
- 作者机构：
  
  上海工程技术大学电子电气工程学院上海 201620
- 作者简介：
  
  [ "顾嘉城（1994—），男，上海人，硕士，2022年于上海工程技术大学获得硕士学位，主要从事人工智能和计算机视觉方面的研究。E-mail：gu_jiacheng798@ 163.com" ]
  [ "龙英文（1974—），男，山东人，博士，副教授，2004年于浙江大学获得博士学位，主要从事人工智能、电力电子控制技术方面的研究。E-mail：longyingwen@ sohu.com" ]
- 基金信息：
  
  国家自然科学基金(61603241)
- DOI：10.37188/CJLCD.2022-0151
  中图分类号： TP391.4
- 收稿日期：2022-04-28，
  
  修回日期：2022-05-10，
  
  纸质出版日期：2022-12-05
- 稿件说明：
移动端阅览
顾嘉城, 龙英文, 吉明明. 基于集成生成对抗网络的视频异常事件检测方法[J]. 液晶与显示, 2022,37(12):1607-1613.

GU Jia-cheng, LONG Ying-wen, JI Ming-ming. Video anomaly detection based on ensemble generative adversarial networks[J]. Chinese journal of liquid crystals and displays, 2022, 37(12): 1607-1613.
顾嘉城, 龙英文, 吉明明. 基于集成生成对抗网络的视频异常事件检测方法[J]. 液晶与显示, 2022,37(12):1607-1613. DOI： 10.37188/CJLCD.2022-0151.

GU Jia-cheng, LONG Ying-wen, JI Ming-ming. Video anomaly detection based on ensemble generative adversarial networks[J]. Chinese journal of liquid crystals and displays, 2022, 37(12): 1607-1613. DOI： 10.37188/CJLCD.2022-0151.

摘要

视频中的异常检测是一个具有挑战性的计算机视觉问题。现有的最先进视频异常检测方法主要集中在深度神经网络的结构设计上，以获得性能改进。与主要研究趋势不同，本文侧重于将集成学习和深度神经网络相结合，提出了一种基于集成生成对抗网络（Generative Adversarial Networks，GAN）的方法。在所提出的方法中，一组生成器和一组判别器一起训练，因此每个生成器可以从多个判别器获得反馈，反之亦然。与单个GAN相比，集成GAN可以更好地对正常数据的分布进行建模，从而更好地检测异常。在两个公开数据集上测试了所提出的方法性能。结果表明，集成学习显著提高了单个检测模型的性能，在两个数据集上比现有最近方法分别超过0.4%和0.3%的帧级AUC。

Abstract

Anomaly detection in video is one of the challenging computer vision problems. The existing state-of-the-art video anomaly detection methods mainly focus on the structural design of deep neural networks to obtain performance improvements. Different from the main research trend， this article focuses on the combination of ensemble learning and deep neural network， and proposes a method based on ensemble generative adversarial networks （GAN）. In the proposed method， a set of generators and discriminators are trained together， so each generator gets feedback from multiple discriminators， and

vice versa

. Compared with a single GAN， an ensemble GAN can better model the distribution of normal data， thereby better detecting anomalies. The performance of the proposed method is tested on two public data sets. The results show that ensemble learning significantly improves the performance of a single detection model， and the performance of ensemble GAN exceeds the frame-level AUC of 0.4% and 0.3% on the two data sets compared with the existing recent methods， respectively.

关键词

Keywords

references

RUFF L ， KAUFFMANN J R ， VANDERMEULEN R A ， et al . A unifying review of deep and shallow anomaly detection ［J］. Proceedings of the IEEE ， 2021 ， 109 （ 5 ）： 756 - 795 . doi: 10.1109/jproc.2021.3052449 http://dx.doi.org/10.1109/jproc.2021.3052449

XU D ， SONG R ， WU X Y ， et al . Video anomaly detection based on a hierarchical activity discovery within spatio-temporal contexts ［J］. Neurocomputing ， 2014 ， 143 （ 2 ）： 144 - 152 . doi: 10.1016/j.neucom.2014.06.011 http://dx.doi.org/10.1016/j.neucom.2014.06.011

RAVANBAKHSH M ， SANGINETO E ， NABI M ， et al . Training adversarial discriminators for cross-channel abnormal event detection in crowds ［C］// Proceedings of 2019 IEEE Winter Conference on Applications of Computer Vision . Waikoloa ： IEEE ， 2019 ： 1896 - 1904 . doi: 10.1109/wacv.2019.00206 http://dx.doi.org/10.1109/wacv.2019.00206

NARASIMHAN M G ， KAMATH S S . Dynamic video anomaly detection and localization using sparse denoising autoencoders ［J］. Multimedia Tools and Applications ， 2018 ， 77 （ 11 ）： 13173 - 13195 . doi: 10.1007/s11042-017-4940-2 http://dx.doi.org/10.1007/s11042-017-4940-2

CHRIKI A ， TOUATI H ， SNOUSSI H ， et al . Deep learning and handcrafted features for one-class anomaly detection in UAV video ［J］. Multimedia Tools and Applications ， 2021 ， 80 （ 2 ）： 2599 - 2620 . doi: 10.1007/s11042-020-09774-w http://dx.doi.org/10.1007/s11042-020-09774-w

HASAN M ， CHOI J ， NEUMANN J ， et al . Learning temporal regularity in video sequences ［C］// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 733 - 742 . doi: 10.1109/cvpr.2016.86 http://dx.doi.org/10.1109/cvpr.2016.86

SABOKROU M ， FATHY M ， HOSEINI M . Video anomaly detection and localisation based on the sparsity and reconstruction error of auto-encoder ［J］. Electronics Letters ， 2016 ， 52 （ 13 ）： 1122 - 1124 . doi: 10.1049/el.2016.0440 http://dx.doi.org/10.1049/el.2016.0440

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90

REDMON J ， DIVVALA S ， GIRSHICK R ， et al . You only look once： unified， real-time object detection ［C］// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 779 - 788 . doi: 10.1109/cvpr.2016.91 http://dx.doi.org/10.1109/cvpr.2016.91

AMODEI D ， ANANTHANARAYANAN S ， ANUBHAI R ， et al . Deep speech 2： end-to-end speech recognition in English and mandarin ［C］// Proceedings of the 33rd International Conference on Machine Learning . New York ： JMLR.org ， 2016 ： 173 - 182 .

SCHNEIDER S ， BAEVSKI A ， COLLOBERT R ， et al . Wav2vec： unsupervised pre-training for speech recognition ［C］// Proceedings of the Interspeech 2019 ， 20th Annual Conference of the International Speech Communication Association . Graz ： ISCA ， 2019 ： 3465 - 3469 . doi: 10.21437/interspeech.2019-1873 http://dx.doi.org/10.21437/interspeech.2019-1873

PENNINGTON J ， SOCHER R ， MANNING C . GloVe： global vectors for word representation ［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing . Doha ： ACL ， 2014 ： 1532 - 1543 . doi: 10.3115/v1/d14-1162 http://dx.doi.org/10.3115/v1/d14-1162

BROWN T B ， MANN B ， RYDER N ， et al . Language models are few-shot learners ［C］// Proceeding of the 34th Conference on Neural Information Processing Systems . Vancouver ： NIPS ， 2020 . doi: 10.18653/v1/2021.emnlp-main.734 http://dx.doi.org/10.18653/v1/2021.emnlp-main.734

HAN X ， CHEN X H ， LIU L P . GAN ensemble for anomaly detection ［C］// Proceeding of the 35th AAAI Conference on Artificial Intelligence . Palo Alto ： AAAI Press ， 2021 . doi: 10.1609/aaai.v35i5.16530 http://dx.doi.org/10.1609/aaai.v35i5.16530

LU C W ， SHI J P ， JIA J Y . Abnormal event detection at 150 FPS in MATLAB ［C］// Proceedings of 2013 IEEE International Conference on Computer Vision . Sydney ： IEEE ， 2013 ： 2720 - 2727 . doi: 10.1109/iccv.2013.338 http://dx.doi.org/10.1109/iccv.2013.338

LUO W X ， LIU W ， GAO S H . A revisit of sparse coding based anomaly detection in stacked RNN framework ［C］// Proceedings of 2017 IEEE International Conference on Computer Vision . Venice ： IEEE ， 2017 ： 341 - 349 . doi: 10.1109/iccv.2017.45 http://dx.doi.org/10.1109/iccv.2017.45

LIU W ， LUO W X ， LIAN D Z ， et al . Future frame prediction for anomaly detection-a new baseline ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 6536 - 6545 . doi: 10.1109/cvpr.2018.00684 http://dx.doi.org/10.1109/cvpr.2018.00684

YU G ， WANG S Q ， CAI Z P ， et al . Cloze test helps： effective video anomaly detection via learning to complete video events ［C］// Proceedings of the 28th ACM International Conference on Multimedia . Seattle ： ACM ， 2020 ： 583 - 591 . doi: 10.1145/3394171.3413973 http://dx.doi.org/10.1145/3394171.3413973

LIN S H ， YANG H ， TANG X C ， et al . Social MIL： interaction-aware for crowd anomaly detection ［C］// Proceedings of the 16th IEEE International Conference on Advanced Video and Signal Based Surveillance （AVSS） . Taipei， China ： IEEE ， 2019 ： 1 - 8 . doi: 10.1109/avss.2019.8909882 http://dx.doi.org/10.1109/avss.2019.8909882

PARK H ， NOH J ， HAM B . Learning memory-guided normality for anomaly detection ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle ： IEEE ， 2020 ： 14372 - 14381 . doi: 10.1109/cvpr42600.2020.01438 http://dx.doi.org/10.1109/cvpr42600.2020.01438

XU D ， YAN Y ， RICCI E ， et al . Detecting anomalous events in videos by learning deep representations of appearance and motion ［J］. Computer Vision and Image Understanding ， 2017 ， 156 ： 117 - 127 . doi: 10.1016/j.cviu.2016.10.010 http://dx.doi.org/10.1016/j.cviu.2016.10.010

LU Y W ， KUMAR K M ， NABAVI S S ， et al . Future frame prediction using convolutional VRNN for anomaly detection ［C］// Proceedings of the 16th IEEE International Conference on Advanced Video and Signal Based Surveillance . Taipei， China ： IEEE ， 2019 ： 1 - 8 . doi: 10.1109/avss.2019.8909850 http://dx.doi.org/10.1109/avss.2019.8909850

浏览量

144

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于残差卷积注意力网络的视频修复

基于深度学习的遥感图像地物分割方法

基于改进生成对抗网络的单帧图像超分辨率重建