オプティカルフローは本質的に2D探索問題であるため、計算の複雑さは探索ウィンドウに対して二次的に増大し、高解像度画像では大きな変位マッチングを実行できなくなります。この論文では、トランスフォーマーからインスピレーションを得て、大幅に少ない計算で高解像度のオプティカルフロー推定を行うための新しい方法を提案します。具体的には、最初に対象画像の垂直方向に1D注意操作を適用し、次に注目画像の水平方向に単純な1D相関を適用することにより、2D対応モデリング効果を実現することができる。注意と相関の方向を交換することもでき、オプティカルフローの推定のために連結された2つの3Dコストボリュームが得られます。新しい1Dの定式化により、競争力のあるパフォーマンスを維持しながら、非常に高解像度の入力画像にスケーリングする方法が可能になります。 Sintel、KITTI、および実際の4K(2160×3840)解像度の画像に関する広範な実験により、提案された方法の有効性と優位性が実証されました。コードとモデルはhttps://github.com/haofeixu/flow1dで入手できます。
Optical flow is inherently a 2D search problem, and thus the computational complexity grows quadratically with respect to the search window, making large displacements matching infeasible for high-resolution images. In this paper, we take inspiration from Transformers and propose a new method for high-resolution optical flow estimation with significantly less computation. Specifically, a 1D attention operation is first applied in the vertical direction of the target image, and then a simple 1D correlation in the horizontal direction of the attended image is able to achieve 2D correspondence modeling effect. The directions of attention and correlation can also be exchanged, resulting in two 3D cost volumes that are concatenated for optical flow estimation. The novel 1D formulation empowers our method to scale to very high-resolution input images while maintaining competitive performance. Extensive experiments on Sintel, KITTI and real-world 4K (2160 ×3840) resolution images demonstrated the effectiveness and superiority of our proposed method. Code and models are available at https://github.com/haofeixu/flow1d.