Devido ao fato de os algoritmos atuais de resumo de vídeo ignorarem informações de cenas, o que prejudica a integridade das atividades, e das dificuldades das redes RNN e LSTM tradicionais em capturar dependências de longo alcance ao processar vídeos longos, este artigo propõe um algoritmo hierárquico de resumo de vídeo baseado em IndRNN que utiliza a estrutura hierárquica de sequência de vídeo (HIRVS). O HIRVS pode ser dividido em 3 partes: (1) uso da rede IndRNN para gerar características visuais de cada cena, onde o estado oculto final é uma agregação temporal ponderada das características de todos os quadros dentro da cena; (2) uso de uma sequência de características no nível da cena por IndRNN bidirecional para modelar relações temporais e capturar dependências de longo alcance entre as cenas; (3) introdução de um codificador de vídeo com autoatenção para extrair dependências globais no vídeo. Finalmente, prediz-se a pontuação de importância das cenas do vídeo para selecionar cenas-chave na geração do resumo do vídeo. Os experimentos foram realizados em dois conjuntos de dados públicos SumMe e TvSum, obtendo uma pontuação F de 51,0% no conjunto SumMe, com uma melhoria de 1,2% em relação ao VOGNet; no conjunto TVSum, a pontuação F foi de 61,3%, uma melhoria de 0,3% em relação ao método atual de melhor desempenho VJMHT. Os resultados experimentais validam a eficácia do HIRVS na tarefa de resumo de vídeo, melhorando a eficiência da geração de resumos.

Resumo de vídeo;Rede neural recorrente independente;Estrutura hierárquica;Rede de autoatenção