Face au fait que les algorithmes actuels de résumé vidéo négligent les informations sur les plans, entraînant une altération de l'intégrité des activités, et que les RNN et LSTM traditionnels ont du mal à capturer efficacement les dépendances à longue distance lors du traitement de vidéos longues, cet article propose un algorithme de résumé vidéo hiérarchique basé sur IndRNN, exploitant la structure hiérarchique des séquences vidéo (HIRVS). HIRVS peut être divisé en 3 parties : (1) utilisation du réseau IndRNN pour générer les caractéristiques visuelles de chaque plan, où l'état caché final est un agrégat temporel pondéré des caractéristiques de toutes les images dans le plan ; (2) utilisation d'une séquence de caractéristiques au niveau du plan par IndRNN bidirectionnel pour modéliser les relations temporelles et capturer les dépendances à long terme entre les plans ; (3) introduction d'un encodeur vidéo à auto-attention pour extraire les dépendances globales dans la vidéo. Enfin, l'importance des plans vidéo est prédite afin de sélectionner les plans clés pour générer le résumé vidéo. Les expériences ont été réalisées sur deux ensembles de données publics SumMe et TvSum ; sur SumMe, le score F atteint 51,0 %, avec une amélioration de 1,2 % par rapport à VOGNet ; sur TVSum, le score F atteint 61,3 %, dépassant de 0,3 % la meilleure méthode actuelle VJMHT. Les résultats expérimentaux confirment l'efficacité de HIRVS dans les tâches de résumé vidéo et améliorent l'efficacité de la génération de résumé.

Résumé vidéo;Réseau neuronal récurrent indépendant;Structure hiérarchique;Réseau d'auto-attention