비디오 요약 작업에서 다중 스케일 시퀀스 모델링과 지역 특징 모델링 부족 문제를 해결하기 위해, 본 논문은 다중 스케일 시간 이동과 변형 가능한 국부 주의 메커니즘을 결합한 비디오 요약 모델을 제안한다. 먼저, 학습 가능한 동적 이동 보폭 예측과 다중 스케일 확장 합성곱을 통해 비디오의 장단기 시퀀스 의존성을 적응적으로 모델링하는 다중 스케일 적응형 양방향 시간 이동 모듈(MAB-TSM)을 설계하였다. 둘째, 동적 비디오 분할 전략과 적응형 샘플링 위치 조절 메커니즘을 결합하여 계산 복잡도를 줄이면서 국부 핵심 영역의 세밀한 특징 표현 능력을 강화하는 변형 가능한 국부 주의 모듈(DALAM)을 설계하였다. 또한, 크로스 스케일 융합을 위한 BiFPN 네트워크를 개선하였으며, BiFPN에 기반한 크로스 스케일 주의 강화 모듈을 도입하여 다중 스케일 특징의 상호 보완 표현을 향상시켰다. 제안된 모델은 SumMe와 TVSum 데이터셋에서 다수의 실험을 수행하였으며, 표준 모드에서 F1 점수가 각각 56.8% 및 62.6%에 도달하여 기존 방법보다 우수하였고, Kendall 순위 상관계수와 Spearman 순위 상관계수는 각각 0.153과 0.200에 달해 높은 일관성을 나타냈다. 실험 결과는 본 모델이 비디오 요약 작업에서 정확도와 효율성을 입증함을 보여준다.

비디오 요약;다중 스케일 시퀀스 모델링;시간 이동 모듈;변형 가능한 주의;국부 주의 메커니즘