イベント カメラには、オブジェクトの連続的かつ詳細な軌跡を高い時間分解能で記録する機能があり、それによってオプティカル フロー推定のための直感的なモーション キューを提供します。それにもかかわらず、イベント オプティカル フロー推定のための既存の学習ベースのアプローチのほとんどは、連続するイベント ストリームを静的フレームとして表すことにより、従来の画像のパラダイムを直接改造し、イベント データの固有の時間的連続性を無視します。この論文では、時間的連続性がイベントベースのオプティカル フローの重要な要素であると主張し、その可能性を解き放つための新しい時間的モーション アグリゲーション (TMA) アプローチを提案します。技術的には、TMA は 3 つのコンポーネントで構成されています。時間コンテキストの基礎となる中間モーション情報を組み込むためのイベント分割戦略、時間的に連続したモーション機能を整列させるための線形ルックアップ戦略、およびモーション機能強化のための一貫したパターンを強調するための新しいモーション パターン集約モジュールです。時間的に連続したモーション情報を組み込むことにより、TMA は初期段階で既存の方法よりも優れたフロー推定値を導き出すことができます。これにより、TMA はより正確な最終予測を取得できるだけでなく、多くの改良の必要性を大幅に削減できます。 DESC-Flow および MVSEC データセットに関する広範な実験により、TMA の有効性と優位性が検証されます。驚くべきことに、E-RAFT と比較して、TMA は DSEC-Flow で精度が 6% 向上し、推論時間が 40% 短縮されました。
Event cameras have the ability to record continuous and detailed trajectories of objects with high temporal resolution, thereby providing intuitive motion cues for optical flow estimation. Nevertheless, most existing learning-based approaches for event optical flow estimation directly remould the paradigm of conventional images by representing the consecutive event stream as static frames, ignoring the inherent temporal continuity of event data. In this paper, we argue that temporal continuity is a vital element of event-based optical flow and propose a novel Temporal Motion Aggregation (TMA) approach to unlock its potential. Technically, TMA comprises three components: an event splitting strategy to incorporate intermediate motion information underlying the temporal context, a linear lookup strategy to align temporally continuous motion features and a novel motion pattern aggregation module to emphasize consistent patterns for motion feature enhancement. By incorporating temporally continuous motion information, TMA can derive better flow estimates than existing methods at early stages, which not only enables TMA to obtain more accurate final predictions, but also greatly reduces the demand for a number of refinements. Extensive experiments on DESC-Flow and MVSEC datasets verify the effectiveness and superiority of our TMA. Remarkably, compared to E-RAFT, TMA achieves a 6% improvement in accuracy and a 40% reduction in inference time on DSEC-Flow.