В связи с тем, что существующие алгоритмы суммаризации видео игнорируют информацию о кадрах, что приводит к нарушению целостности активности, а традиционные RNN и LSTM испытывают трудности при эффективном захвате дальних зависимостей при обработке длинных видео, в статье предложен иерархический алгоритм суммаризации видео на основе IndRNN (HIRVS), использующий нижний уровень иерархии видеопоследовательности. HIRVS можно разделить на 3 части: (1) использование сети IndRNN для генерации визуальных признаков каждого кадра, где последний скрытый слой является временным взвешенным агрегатом всех признаков кадров внутри кадра; (2) использование двунаправленной последовательности признаков на уровне кадров IndRNN для моделирования временных отношений и улавливания дальних зависимостей между кадрами; (3) введение кодировщика видео с механизмом самовнимания для извлечения глобальных зависимостей в видео. В финале предсказываются оценки важности видеокадров для выбора ключевых кадров и генерации видео сводки. Эксперименты проведены на двух общедоступных наборах данных SumMe и TvSum, где F-мера на SumMe достигла 51,0%, что на 1,2% выше, чем у VOGNet; на TVSum F-мера достигла 61,3%, что на 0,3% выше, чем у текущего лучшего метода VJMHT. Результаты экспериментов подтверждают эффективность HIRVS в задачах суммаризации видео и повышают эффективность генерации сводок.

Суммаризация видео;Независимая рекуррентная нейронная сеть;Иерархическая структура;Сеть с механизмом самовнимания