学習ベースのオプティカルフロー推定は、フロー回帰の畳み込みを伴うコストボリュームのパイプラインによって支配されてきました。これは、本質的に局所相関に限定されているため、大変位の長年の課題に対処するのは困難です。これを軽減するために、最先端の方法、つまりRAFTは、多数の反復的な改良によって一連のフロー更新を生成することにより、予測の品質を徐々に改善し、優れたパフォーマンスを実現しますが、推論速度を遅くします。高精度と効率の両方のオプティカルフロー推定を可能にするために、オプティカルフローをグローバルマッチング問題として再定式化することにより、支配的なフロー回帰パイプラインを完全に刷新します。具体的には、GMFlowフレームワークを提案します。これは、機能拡張用のカスタマイズされたTransformer、グローバル機能マッチング用の相関およびソフトマックスレイヤー、フロー伝播用の自己注意レイヤーの3つの主要コンポーネントで構成されます。さらに、残留流の予測のために高解像度でGMFlowを再利用する改良ステップをさらに紹介します。私たちの新しいフレームワークは、挑戦的なSintelベンチマークで32反復RAFTのパフォーマンスを上回り、1つの改良のみを使用して高速に実行し、効率的で正確なオプティカルフロー推定の新しい可能性を提供します。コードはhttps://github.com/haofeixu/gmflowで入手できます。
Learning-based optical flow estimation has been dominated with the pipeline of cost volume with convolutions for flow regression, which is inherently limited to local correlations and thus is hard to address the long-standing challenge of large displacements. To alleviate this, the state-of-the-art method, i.e., RAFT, gradually improves the quality of its predictions by producing a sequence of flow updates via a large number of iterative refinements, achieving remarkable performance but slowing down the inference speed. To enable both high accuracy and efficiency optical flow estimation, we completely revamp the dominating flow regression pipeline by reformulating optical flow as a global matching problem. Specifically, we propose a GMFlow framework, which consists of three main components: a customized Transformer for feature enhancement, a correlation and softmax layer for global feature matching, and a self-attention layer for flow propagation. Moreover, we further introduce a refinement step that reuses GMFlow at higher-resolutions for residual flow prediction. Our new framework outperforms 32-iteration RAFT's performance on the challenging Sintel benchmark, while using only one refinement and running faster, offering new possibilities for efficient and accurate optical flow estimation. Code will be available at https://github.com/haofeixu/gmflow.