本稿では、オプティカルフロー推定のための時空間コンテキストネットワークSTC-Flowを提案する。ローカルピラミッドの特徴抽出とマルチレベル相関を使用した従来のオプティカルフロー推定アプローチとは異なり、空間的および時間的次元での豊富な長距離依存性をキャプチャすることにより、コンテキストリレーション探索アーキテクチャを提案します。具体的には、STC-Flowには3つの主要なコンテキストモジュール(ピラミッド空間コンテキストモジュール、時間コンテキスト相関モジュール、再帰的残差コンテキストアップサンプリングモジュール)が含まれており、それぞれ特徴抽出、相関、フロー再構築の各段階で関係を構築します。実験結果は、提案されたスキームが、SintelデータセットおよびKITTI 2012/2015データセットでの2フレームベースのメソッドの最先端のパフォーマンスを達成することを示しています。
In this paper, we propose a spatio-temporal contextual network, STC-Flow, for optical flow estimation. Unlike previous optical flow estimation approaches with local pyramid feature extraction and multi-level correlation, we propose a contextual relation exploration architecture by capturing rich long-range dependencies in spatial and temporal dimensions. Specifically, STC-Flow contains three key context modules - pyramidal spatial context module, temporal context correlation module and recurrent residual contextual upsampling module, to build the relationship in each stage of feature extraction, correlation, and flow reconstruction, respectively. Experimental results indicate that the proposed scheme achieves the state-of-the-art performance of two-frame based methods on the Sintel dataset and the KITTI 2012/2015 datasets.