arXiv reaDer
v2e:ビデオフレームからリアルなDVSイベントまで
v2e: From Video Frames to Realistic DVS Events
ダイナミックビジョンセンサー(DVS)イベントカメラデータのニーズの高まりに対応するために、このペーパーでは、強度フレームから現実的な合成DVSイベントを生成するv2eツールボックスを提案します。また、最近の文献におけるDVSモーションブラーと遅延特性に関する誤った主張も明らかにしています。他のツールボックスとは異なり、v2eには、ピクセルレベルのガウスイベントしきい値の不一致、有限の強度依存帯域幅、および強度依存ノイズが含まれています。現実的なDVSイベントは、制御されていない照明条件のネットワークをトレーニングするのに役立ちます。 v2e合成イベントの使用は、2つの実験で実証されています。最初の実験は、N-Caltech101データセットを使用したオブジェクト認識です。結果は、さまざまなv2e照明条件での事前トレーニングにより、ResNetモデルの実際のDVSデータで転送された場合の一般化が改善されることを示しています。 2番目の実験では、夜間運転の場合、v2eイベントでトレーニングされた車の検出器は、強度フレームでトレーニングされたYOLOv3と比較して平均精度が40%向上することを示しています。
To help meet the increasing need for dynamic vision sensor (DVS) event camera data, this paper proposes the v2e toolbox that generates realistic synthetic DVS events from intensity frames. It also clarifies incorrect claims about DVS motion blur and latency characteristics in recent literature. Unlike other toolboxes, v2e includes pixel-level Gaussian event threshold mismatch, finite intensity-dependent bandwidth, and intensity-dependent noise. Realistic DVS events are useful in training networks for uncontrolled lighting conditions. The use of v2e synthetic events is demonstrated in two experiments. The first experiment is object recognition with N-Caltech 101 dataset. Results show that pretraining on various v2e lighting conditions improves generalization when transferred on real DVS data for a ResNet model. The second experiment shows that for night driving, a car detector trained with v2e events shows an average accuracy improvement of 40% compared to the YOLOv3 trained on intensity frames.
updated: Mon Apr 19 2021 08:30:15 GMT+0000 (UTC)
published: Sat Jun 13 2020 21:06:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト