独立循環神経ネットワークに基づく階層的動画要約アルゴリズム

REN Xiwei ,  

LIU Yan ,  

XIAO Man ,  

JIA Shiduan ,  

WANG Rui ,  

HE Lifeng ,  

摘要

既存の動画要約アルゴリズムはショット情報を無視するため、活動の完全性が損なわれ、また従来のRNNやLSTMは長尺動画の処理において長距離依存性を効果的に捉えにくいという問題に対し、本稿では動画シーケンスの下位階層構造を利用したIndRNNに基づく階層的動画要約アルゴリズム(HIRVS)を提案する。HIRVSは3つの部分に分けられる:(1)IndRNNネットワークを用いて各ショットの視覚特徴を生成し、出力の最後の隠れ状態はショット内の全フレーム特徴の時系列加重集約である;(2)双方向IndRNNショットレベル特徴系列を用いて時系列関係をモデリングし、ショット間の長距離依存関係を捉える;(3)自己注意型ビデオエンコーダを導入し、動画内のグローバル依存関係を抽出する。最後に、動画ショットの重要度スコアを予測し、これによりキーモーメントを選択して動画要約を生成する。実験は公開データセットSumMeおよびTvSumの2つで実施し、SumMeデータセットでFスコア51.0%を達成し、VOGNetより1.2%向上;TVSumデータセットでFスコア61.3%を達成し、現行最良手法VJMHTより0.3%向上した。実験結果はHIRVSの動画要約タスクにおける有効性を検証し、要約生成の効率化を向上させることを示した。

关键词

動画要約;独立循環神経ネットワーク;階層構造;自己注意ネットワーク

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website