Dado que los algoritmos actuales de resumen de video ignoran la información de las tomas, lo que lleva a la pérdida de la integridad de la actividad, y que las RNN y LSTM tradicionales tienen dificultades para capturar eficazmente las dependencias a largo plazo al procesar videos largos, este artículo propone un algoritmo de resumen de video jerárquico basado en IndRNN que aprovecha la estructura jerárquica de la secuencia de video (HIRVS). HIRVS se puede dividir en 3 partes: (1) uso de la red IndRNN para generar características visuales de cada toma, donde el estado oculto final es una agregación ponderada temporalmente de las características de todos los cuadros dentro de la toma; (2) uso de una secuencia de características a nivel de toma mediante IndRNN bidireccional para modelar las relaciones temporales y capturar las dependencias a largo plazo entre las tomas; (3) introducción de un codificador de video con autoatención para extraer dependencias globales en el video. Finalmente, se predice la puntuación de importancia de las tomas de video para seleccionar las tomas clave y generar el resumen del video. Los experimentos se realizaron en dos conjuntos de datos públicos SumMe y TvSum, obteniendo una puntuación F del 51.0 % en SumMe, mejorando un 1.2 % sobre VOGNet; y una puntuación F del 61.3 % en TVSum, mejorando un 0.3 % sobre el mejor método actual VJMHT. Los resultados experimentales validan la efectividad de HIRVS en tareas de resumen de video y mejoran la eficiencia en la generación de resúmenes.

Resumen de video;Red neuronal recurrente independiente;Estructura jerárquica;Red de autoatención