arXiv reaDer
EventPoint: イベントベースのカメラの自己監視対象点の検出と説明
EventPoint: Self-Supervised Interest Point Detection and Description for Event-based Camera
このホワイト ペーパーでは、イベント ストリーム/カメラの追跡と登録のために、EventPoint と呼ばれる、自己管理型の学習済みローカル検出器と記述子を提案します。イベントベースのカメラは、生物学的なインスピレーションと低消費電力のために人気が高まっています。それにもかかわらず、ローカル機能をイベント ストリームに直接適用することは、その独特のデータ構造のために困難です。 Tencode と呼ばれる新しい時間面のようなイベント ストリーム表現方法を提案します。 Tencode によって処理されたイベント ストリーム データは、関心点のピクセル レベルの位置を取得すると同時に、ニューラル ネットワークを介して記述子を抽出することができます。コストがかかり信頼性の低い手動注釈を使用する代わりに、ネットワークはカラー画像の局所特徴抽出の事前知識を活用し、ホモグラフィックおよび時空間適応を介して自己教師あり学習を行います。私たちの知る限りでは、提案手法は、ディープ ニューラル ネットワークを使用したイベントベースの局所特徴学習に関する最初の研究です。特徴点の検出とマッチングの包括的な実験を提供し、評価には 3 つの公開データセット (DSEC、N-Caltech101、および HVGA ATIS コーナー データセット) が使用されます。実験結果は、特徴点の検出と記述の点で、私たちの方法が SOTA よりも優れていることを示しています。
This paper proposes a self-supervised learned local detector and descriptor, called EventPoint, for event stream/camera tracking and registration. Event-based cameras have grown in popularity because of their biological inspiration and low power consumption. Despite this, applying local features directly to the event stream is difficult due to its peculiar data structure. We propose a new time-surface-like event stream representation method called Tencode. The event stream data processed by Tencode can obtain the pixel-level positioning of interest points while also simultaneously extracting descriptors through a neural network. Instead of using costly and unreliable manual annotation, our network leverages the prior knowledge of local feature extraction on color images and conducts self-supervised learning via homographic and spatio-temporal adaptation. To the best of our knowledge, our proposed method is the first research on event-based local features learning using a deep neural network. We provide comprehensive experiments of feature point detection and matching, and three public datasets are used for evaluation (i.e. DSEC, N-Caltech101, and HVGA ATIS Corner Dataset). The experimental findings demonstrate that our method outperforms SOTA in terms of feature point detection and description.
updated: Sun Oct 30 2022 15:44:37 GMT+0000 (UTC)
published: Wed Sep 01 2021 06:58:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト