Da bestehende Videozusammenfassungsalgorithmen Kamera-Informationen ignorieren, was die Aktivitätsintegrität beeinträchtigt, und traditionelle RNNs und LSTMs Schwierigkeiten haben, Langzeitabhängigkeiten bei der Verarbeitung langer Videos effektiv zu erfassen, wird in diesem Artikel ein hierarchischer Videozusammenfassungsalgorithmus basierend auf IndRNN (HIRVS) vorgestellt, der die untere hierarchische Struktur der Videosequenz nutzt. HIRVS lässt sich in 3 Teile gliedern: (1) Verwendung eines IndRNN-Netzwerks zur Erzeugung visueller Merkmale jedes Shots, wobei der letzte verborgene Zustand eine zeitlich gewichtete Aggregation aller Frame-Merkmale innerhalb des Shots ist; (2) Verwendung einer bidirektionalen IndRNN-Shot-Level-Merkmalssequenz zur zeitlichen Modellierung und Erfassung von Langzeitabhängigkeiten zwischen Shots; (3) Einführung eines selbstaufmerksamen Videoencoders zur Extraktion globaler Abhängigkeiten im Video. Abschließend wird die Wichtigkeit der Video-Shots vorhergesagt, um Schlüsselshots zur Erstellung der Videozusammenfassung auszuwählen. Experimente wurden auf zwei öffentlichen Datensätzen SumMe und TvSum durchgeführt, wobei die F-Score auf SumMe 51,0 % erreichte, was eine Steigerung von 1,2 % gegenüber VOGNet darstellt; auf TVSum erreichte die F-Score 61,3 %, was eine Steigerung von 0,3 % gegenüber der derzeit besten Methode VJMHT bedeutet. Die experimentellen Ergebnisse bestätigen die Wirksamkeit von HIRVS bei Videozusammenfassungsaufgaben und verbessern die Effizienz der Zusammenfassungserstellung.

Videozusammenfassung;Unabhängiges rekurrentes neuronales Netzwerk;Hierarchische Struktur;Selbstaufmerksamkeitsnetzwerk