Para resolver o problema de modelagem temporal em múltiplas escalas e modelagem de características locais insuficientes na tarefa de resumo de vídeo, este artigo propõe um modelo de resumo de vídeo que combina deslocamento temporal multiescala e mecanismo de atenção local deformável. Primeiro, foi projetado um módulo de deslocamento temporal bidirecional adaptativo multiescala (MAB-TSM), que através da previsão dinâmica de passo de deslocamento aprendível e convolução dilatada multiescala, realiza a modelagem adaptativa das dependências temporais de curto e longo prazo do vídeo; em seguida, projetou-se um módulo de atenção local deformável (DALAM), que combina uma estratégia dinâmica de segmentação de vídeo e um mecanismo adaptativo de ajuste de posição de amostragem, reduzindo a complexidade computacional ao mesmo tempo que aumenta a capacidade de expressão fina das características das regiões-chave locais; além disso, a rede BiFPN de fusão entre escalas foi aprimorada com a introdução de um módulo de reforço de atenção entre escalas baseado na BiFPN, melhorando a expressão complementar das características multiescala. O modelo proposto foi testado múltiplas vezes nos conjuntos de dados SumMe e TVSum, alcançando pontuações F1 de 56,8% e 62,6% respectivamente no modo padrão, superando os métodos existentes, e os coeficientes de correlação de posto de Kendall e Spearman atingiram 0,153 e 0,200 respectivamente, demonstrando boa consistência. Os resultados experimentais comprovam a precisão e efetividade do modelo na tarefa de resumo de vídeo.

resumo de vídeo;modelagem temporal multiescala;módulo de deslocamento temporal;atenção deformável;mecanismo de atenção local