イベント カメラは、オブジェクトの連続的かつ詳細な軌跡を高い時間解像度で記録する機能を備えているため、オプティカル フロー推定に直感的なモーション キューを提供します。それにもかかわらず、イベント オプティカル フロー推定に対する既存の学習ベースのアプローチのほとんどは、イベント データの固有の時間的連続性を無視して、連続するイベント ストリームを静的フレームとして表すことにより、従来の画像のパラダイムを直接再構築します。この論文では、時間的連続性がイベントベースのオプティカル フローの重要な要素であると主張し、その可能性を解き放つための新しい Temporal Motion Aggregation (TMA) アプローチを提案します。技術的には、TMA は 3 つのコンポーネントで構成されます。時間的コンテキストの基礎となる中間モーション情報を組み込むイベント分割戦略、時間的にきめの細かいモーション特徴を調整する線形ルックアップ戦略、およびモーション特徴強化のための一貫したパターンを強調する新しいモーション パターン集約モジュールです。時間的にきめの細かい動き情報を組み込むことで、TMA は初期段階で既存の方法よりも優れたフロー推定値を導き出すことができます。これにより、TMA はより正確な最終予測を取得できるだけでなく、多くの調整の必要性も大幅に軽減されます。 DSEC-Flow および MVSEC データセットに関する広範な実験により、TMA の有効性と優位性が検証されています。注目すべきことに、E-RAFT と比較して、TMA は DSEC-Flow での精度が 6% 向上し、推論時間が 40% 短縮されました。コードは https://github.com/ispc-lab/TMA で入手できます。
Event cameras have the ability to record continuous and detailed trajectories of objects with high temporal resolution, thereby providing intuitive motion cues for optical flow estimation. Nevertheless, most existing learning-based approaches for event optical flow estimation directly remould the paradigm of conventional images by representing the consecutive event stream as static frames, ignoring the inherent temporal continuity of event data. In this paper, we argue that temporal continuity is a vital element of event-based optical flow and propose a novel Temporal Motion Aggregation (TMA) approach to unlock its potential. Technically, TMA comprises three components: an event splitting strategy to incorporate intermediate motion information underlying the temporal context, a linear lookup strategy to align temporally fine-grained motion features and a novel motion pattern aggregation module to emphasize consistent patterns for motion feature enhancement. By incorporating temporally fine-grained motion information, TMA can derive better flow estimates than existing methods at early stages, which not only enables TMA to obtain more accurate final predictions, but also greatly reduces the demand for a number of refinements. Extensive experiments on DSEC-Flow and MVSEC datasets verify the effectiveness and superiority of our TMA. Remarkably, compared to E-RAFT, TMA achieves a 6% improvement in accuracy and a 40% reduction in inference time on DSEC-Flow. Code will be available at https://github.com/ispc-lab/TMA.