畳み込みニューラルネットワークとグラフ畳み込みネットワークの二種類のアルゴリズムが学校内暴力行動の認識において認識速度と認識率が低い問題に対し、本稿では多情報流データ融合と時空間注意機構を組み合わせた軽量グラフ畳み込みネットワークを提案する。人体骨格を研究対象とし、まず関節点と骨格に関連する多情報流データを融合し、ネットワークパラメータ数を削減することで計算速度を向上させる。次に非局所演算に基づく時空間注意モジュールを構築し、動作判別に最も有効な関節点に着目することで冗長情報を削減し認識精度を高める。続いて時空間特徴抽出モジュールを構築し、注目関節点の時空間関連情報を取得する。最終的にSoftmax層で動作認識を実現する。実験結果により、キャンパスセキュリティの実環境下で殴る、蹴る、倒れる、押す、平手打ち、跪くの6種類の典型動作の認識精度はそれぞれ94.5%、97.0%、98.5%、95.0%、94.5%、95.5%であり、最大認識速度は20.6fpsであった。UCF101データセットにおける2つのベースラインネットワークとの比較では、認識速度と認識率が向上し、本手法の他動作への汎用性を検証し、キャンパスにおける典型的な暴力行動認識のリアルタイム性と信頼性の要件を満たすことが示された。

キャンパス暴力行動認識;グラフ畳み込みネットワーク;データ融合;時空間注意モジュール