행동 인식 작업에서 행위자와 동작 상태 변화 속도가 다르고 동작 간 상관성 연구가 부족하여 행동 판별 능력 저하 및 오판 문제를 야기하는 문제를 해결하기 위해, SlowFast 아키텍처 기반 시간 상관성 주의 메커니즘 모델을 제안한다. 우선, 광류를 포기하고 비디오 데이터를 직접 네트워크 입력으로 사용하여 모델이 엔드투엔드 학습을 할 수 있도록 하였다. 둘째, 상관성 주의와 시간 주의로 구성된 시간 상관성 주의 메커니즘을 정의하였으며, 상관성 주의 메커니즘은 동작 간 상관성 정보를 추출하는 데 사용된다. 이후, 유용하지 않은 특징을 억제하기 위해 시간 주의 메커니즘에 정보를 입력한다. 마지막으로, SlowFast 경로 융합 과정에서 큰 커널 스트라이드로 인한 특징 간 상관성 손실 문제를 해결하기 위해 더 효과적인 연속 컨볼루션 연산을 제안한다. UCF101 및 HMDB51 두 데이터셋에서 실험한 결과, 제안된 방법이 기존 방법에 비해 정확도와 견고성에서 우수함을 입증하였다.

행동 인식;SlowFast;시간 상관성 주의 메커니즘;엔드투엔드 학습;경로 융합