기존 비디오 요약 알고리즘이 샷 정보를 무시하여 활동의 완전성이 손상되고, 전통적인 RNN 및 LSTM이 긴 비디오를 처리할 때 장기 의존성을 효과적으로 포착하기 어려운 문제를 해결하기 위해, 본 논문에서는 비디오 시퀀스의 하위 계층 구조를 활용한 IndRNN 기반의 계층적 비디오 요약 알고리즘(HIRVS)을 제안한다. HIRVS는 세 부분으로 나뉜다: (1) 각 샷의 시각적 특징을 생성하기 위해 IndRNN 네트워크를 활용하며, 출력의 마지막 은닉 상태는 샷 내 모든 프레임 특징의 시계열 가중 합산이다; (2) 양방향 IndRNN 샷 수준 특징 시퀀스를 활용하여 시간적 관계를 모델링하고 샷 간의 장기 의존성을 포착한다; (3) 비디오 내 전역 의존성을 추출하기 위해 자기 주의 비디오 인코더를 도입한다. 마지막으로, 비디오 샷의 중요도 점수를 예측하여 핵심 샷을 선택하여 비디오 요약을 생성한다. 실험은 공개 데이터셋 SumMe와 TvSum 두 곳에서 수행되었으며, SumMe 데이터셋에서 F-스코어 51.0%를 달성하여 VOGNet 대비 1.2% 향상, TVSum 데이터셋에서는 F-스코어 61.3%로 현재 최우수 방법 VJMHT 대비 0.3% 향상되었다. 실험 결과는 비디오 요약 작업에서 HIRVS의 효과성을 검증하고 요약 생성 효율을 향상시켰다.

비디오 요약;독립 순환 신경망;계층 구조;자기 주의 네트워크