高い時間解像度、モーション ブラーに対する回復力の向上、および非常にまばらな出力により、イベント カメラは、困難なシナリオであっても、低レイテンシおよび低帯域幅の機能追跡に理想的であることが示されています。イベントカメラの既存の機能追跡方法は、手作りまたは第一原理から派生したものですが、広範なパラメーター調整が必要であり、ノイズに敏感であり、モデル化されていない効果のためにさまざまなシナリオに一般化されていません。これらの欠陥に対処するために、イベント カメラ用の最初のデータ駆動型機能トラッカーを導入します。これは、低遅延イベントを利用して、グレースケール フレームで検出された機能を追跡します。フィーチャー トラック間で情報を共有する新しいフレーム アテンション モジュールを介して、堅牢なパフォーマンスを実現します。ゼロ ショットを合成データから実際のデータに直接転送することにより、当社のデータ駆動型トラッカーは、相対的な機能年齢で既存のアプローチよりも最大 120% 優れたパフォーマンスを発揮し、最小のレイテンシーも実現します。このパフォーマンスのギャップは、新しい自己監視戦略を使用してトラッカーを実際のデータに適応させることで、さらに 130% まで増加します。
Because of their high temporal resolution, increased resilience to motion blur, and very sparse output, event cameras have been shown to be ideal for low-latency and low-bandwidth feature tracking, even in challenging scenarios. Existing feature tracking methods for event cameras are either handcrafted or derived from first principles but require extensive parameter tuning, are sensitive to noise, and do not generalize to different scenarios due to unmodeled effects. To tackle these deficiencies, we introduce the first data-driven feature tracker for event cameras, which leverages low-latency events to track features detected in a grayscale frame. We achieve robust performance via a novel frame attention module, which shares information across feature tracks. By directly transferring zero-shot from synthetic to real data, our data-driven tracker outperforms existing approaches in relative feature age by up to 120 % while also achieving the lowest latency. This performance gap is further increased to 130 % by adapting our tracker to real data with a novel self-supervision strategy.