arXiv reaDer
E-RAFT:イベントカメラからの高密度オプティカルフロー
E-RAFT: Dense Optical Flow from Event Cameras
イベントカメラからの高密度オプティカルフロー推定に特徴相関と順次処理を組み込むことを提案します。最新のフレームベースのオプティカルフロー手法は、特徴の相関から計算されたマッチングコストに大きく依存しています。対照的に、マッチングコストを明示的に計算するイベントカメラのオプティカルフロー方法はありません。代わりに、イベントを使用する学習ベースのアプローチは、通常、オプティカルフローをまばらに推定するためにU-Netアーキテクチャに頼っています。私たちの重要な発見は、相関機能の導入により、畳み込み層のみに依存する以前の方法と比較して、結果が大幅に改善されることです。最先端のアプローチと比較して、提案されたアプローチは、高密度のオプティカルフローを計算し、MVSECでエンドポイントエラーを23%削減します。さらに、イベントカメラ用にこれまでに開発されたすべての既存のオプティカルフロー手法が、最大フローの大きさが10ピクセルの非常に小さい変位フィールドを持つデータセットで評価されたことを示します。この観察に基づいて、最大210ピクセルの大きさと3倍高いカメラ解像度の変位フィールドを示す新しい実世界のデータセットを紹介します。提案されたアプローチは、このデータセットのエンドポイントエラーを66%削減します。
We propose to incorporate feature correlation and sequential processing into dense optical flow estimation from event cameras. Modern frame-based optical flow methods heavily rely on matching costs computed from feature correlation. In contrast, there exists no optical flow method for event cameras that explicitly computes matching costs. Instead, learning-based approaches using events usually resort to the U-Net architecture to estimate optical flow sparsely. Our key finding is that the introduction of correlation features significantly improves results compared to previous methods that solely rely on convolution layers. Compared to the state-of-the-art, our proposed approach computes dense optical flow and reduces the end-point error by 23% on MVSEC. Furthermore, we show that all existing optical flow methods developed so far for event cameras have been evaluated on datasets with very small displacement fields with a maximum flow magnitude of 10 pixels. Based on this observation, we introduce a new real-world dataset that exhibits displacement fields with magnitudes up to 210 pixels and 3 times higher camera resolution. Our proposed approach reduces the end-point error on this dataset by 66%.
updated: Thu Oct 21 2021 09:46:49 GMT+0000 (UTC)
published: Tue Aug 24 2021 07:39:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト