行動認識タスクにおいて、行為主体と動作状態の変化速度が異なり、動作間の関連性の研究が不足していることから、行動判別能力の低下や誤判定が生じる問題に対処するため、SlowFastアーキテクチャに基づく時間相関注意機構モデルを提案する。まず、光フローを放棄し、動画データを直接ネットワークの入力とすることで、モデルのエンドツーエンド学習を可能にした。次に、相関注意と時間注意からなる時間相関注意機構を定義し、相関注意機構は動作間の相関情報を抽出するために使用される。その後、不要な特徴を抑制するために情報を時間注意機構に入力する。最後に、SlowFastのパス融合過程において畳み込みカーネルのストライドが大きいために特徴間の相関が失われる問題に対し、より効果的な連続畳み込み操作を提案して代替した。UCF101およびHMDB51の二つのデータセットで実験を行い、提案手法が既存手法と比較して精度および頑健性に優れていることを示した。

行動認識;SlowFast;時間相関注意機構;エンドツーエンド学習;パス融合