既存の光流推定手法における対象輪郭の不明瞭さや細粒度の不足という問題に対し、本研究ではシーケンス画像の関連領域情報を融合した光流推定ネットワークを提案する。特徴エンコーダとグローバルエンコーダによってそれぞれ画像の符号化特徴とコンテキスト特徴を抽出し、ダウンサンプリング処理で特徴サイズを縮小する。4D相関体を構築する前に、入力された連続する2フレームの特徴マップを分割処理し、強弱相関の手法で密な視覚的類似度を計算し、より精細な4D相関ボリュームを構築する。反復更新段階では、残差畳み込みフィルタと細粒度モジュールを提案し、それぞれ相関体と光流伝搬の処理に適用することで、相関体情報と光流情報を融合する前により多くの局所的な小さな変位情報を保持する。KITTI-2015データセットとMPI-Sintelデータセットにおいて他の手法と比較し、光流推定評価指標がそれぞれ8.2％と6.15％向上した。本論文で提案するネットワークモデルは光流推定の精度をより高め、光流場の過度な平滑化、細粒度の欠如、小物体の動きの無視といった問題を効果的に解決する。

コンピュータビジョン;ディープラーニング;光流;領域マッチング;反復更新