arXiv reaDer
VideoFlow: マルチフレーム オプティカル フロー推定のための時間的キューの活用
VideoFlow: Exploiting Temporal Cues for Multi-frame Optical Flow Estimation
ビデオの新しいオプティカル フロー推定フレームワークである VideoFlow を紹介します。 2 つのフレームからオプティカル フローを推定することを学習する以前の方法とは対照的に、VideoFlow は、時間的な手がかりを十分に活用することによって、ビデオで利用可能な複数のフレームの双方向オプティカル フローを同時に推定します。最初に、中央フレームの双方向オプティカル フローを 3 フレーム方式で推定する TRi フレーム オプティカル フロー (TROF) モジュールを提案します。フレーム トリプレットの情報は、中央のフレームに繰り返し融合されます。より多くのフレームを処理するために TROF を拡張するために、複数の TROF をブリッジし、隣接する TROF 間でモーション機能を伝播する MOtion Propagation (MOP) モジュールをさらに提案します。反復フロー推定の改良により、個々の TROF に融合された情報は、MOP を介してシーケンス全体に伝播できます。ビデオ情報を効果的に活用することで、VideoFlow は並外れたパフォーマンスを発揮し、すべての公開ベンチマークで 1 位にランクされています。 Sintel ベンチマークでは、VideoFlow は最終パスとクリーン パスで 1.649 と 0.991 の平均エンドポイント エラー (AEPE) を達成し、公開されている最良の結果 (FlowFormer++ からは 1.943 と 1.073) から 15.1% と 7.6% のエラー削減を達成しました。 KITTI-2015 ベンチマークでは、VideoFlow は 3.65% の F1-all エラーを達成し、公開された最良の結果 (FlowFormer++ から 4.52%) から 19.2% のエラー削減を達成しました。
We introduce VideoFlow, a novel optical flow estimation framework for videos. In contrast to previous methods that learn to estimate optical flow from two frames, VideoFlow concurrently estimates bi-directional optical flows for multiple frames that are available in videos by sufficiently exploiting temporal cues. We first propose a TRi-frame Optical Flow (TROF) module that estimates bi-directional optical flows for the center frame in a three-frame manner. The information of the frame triplet is iteratively fused onto the center frame. To extend TROF for handling more frames, we further propose a MOtion Propagation (MOP) module that bridges multiple TROFs and propagates motion features between adjacent TROFs. With the iterative flow estimation refinement, the information fused in individual TROFs can be propagated into the whole sequence via MOP. By effectively exploiting video information, VideoFlow presents extraordinary performance, ranking 1st on all public benchmarks. On the Sintel benchmark, VideoFlow achieves 1.649 and 0.991 average end-point-error (AEPE) on the final and clean passes, a 15.1% and 7.6% error reduction from the best published results (1.943 and 1.073 from FlowFormer++). On the KITTI-2015 benchmark, VideoFlow achieves an F1-all error of 3.65%, a 19.2% error reduction from the best published result (4.52% from FlowFormer++).
updated: Wed Mar 15 2023 03:14:30 GMT+0000 (UTC)
published: Wed Mar 15 2023 03:14:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト