OFCA-Transformerに基づく軽量ビデオ超解像再構成

REN Pengyang ,  

PANG Kai ,  

摘要

複雑な動きのシーンにおける既存のビデオ超解像手法が抱えるフレーム間の精確な位置合わせの困難さ、時系列情報の不十分な活用、従来の注意機構の計算負荷の高さといった問題に対して、本論文では光フロー誘導型クロスアテンションを融合したビデオ超解像ネットワーク(OFCA-Transformer)を提案する。まず、多段階の軽量光フロー推定モジュールを設計し、多層度の運動情報を生成する。次に、光フロー予測位置を中心とした局所注意ウィンドウを構築し、明示的な幾何学的事前情報と暗黙的な内容認識の深い融合を実現する光フロー誘導型クロスアテンション機構を革新的に導入し、アライメント精度の向上と計算負荷の著しい低減を達成する。最後に、Transformer構造内に階層的特徴集約モジュールを構築し、時空間特徴のより効果的な融合を実現する。拡大倍率×2、×3、×4において、本研究手法を3つの公開データセットで他の手法と比較した。結果は、OFCA-Transformerが複数のデータセットでのPSNR値で他の最新手法と比較してわずか0.16 dB差である一方、モデルパラメータ数を82.8%削減し、計算効率を効果的に向上させたことを示す。さらに、本手法は複雑な動きのシーンにおいてより正確なディテール復元と優れた時間的一貫性を示し、すべての拡大倍率で客観的に良好な定量指標を達成した。

关键词

ビデオ超解像;トランスフォーマー;光フロー推定;クロスアテンション;動きのアライメント

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website