この論文は、高速運動について推論するためのダイナミックビジョンセンサー(DVS)ベースのシステムを提示します。代表的なシナリオとして、静止しているロボットが15m / sを超える速度で小さくて速く接近する物体に反応する場合を考えます。通常のフレームレートの従来のイメージセンサーは、このようなオブジェクトを数フレームしか観察しないため、基礎となる動きを推定することは、標準的なコンピュータービジョンシステムおよびアルゴリズムにとってかなりの課題となります。この論文では、昆虫などの動物が比較的単純な視覚システムでこの問題をどのように解決するかによって動機付けられた方法を提示します。私たちのソリューションは、DVSからイベントストリームを取得し、最初に、複数の時間スケールにわたる一連の因果指数フィルターを使用して時間イベントをエンコードします。これらのフィルターを畳み込みニューラルネットワーク(CNN)と組み合わせて、関連する時空間特徴を効率的に抽出します。結合されたネットワークは、オブジェクトの衝突までの予想時間と、離散化された極グリッド上の予測された衝突点の両方を出力することを学習します。これらの重要な見積もりは、着信オブジェクトに適切に反応するために、ネットワークによって最小限の遅延で計算されます。システムの結果を、23.4m / sで移動するおもちゃのダーツにハイライトします。θの誤差は24.73°、平均離散半径予測誤差は18.4mm、衝突予測誤差の中央値は25.03%です。
This paper presents a Dynamic Vision Sensor (DVS) based system for reasoning about high speed motion. As a representative scenario, we consider the case of a robot at rest reacting to a small, fast approaching object at speeds higher than 15m/s. Since conventional image sensors at typical frame rates observe such an object for only a few frames, estimating the underlying motion presents a considerable challenge for standard computer vision systems and algorithms. In this paper we present a method motivated by how animals such as insects solve this problem with their relatively simple vision systems. Our solution takes the event stream from a DVS and first encodes the temporal events with a set of causal exponential filters across multiple time scales. We couple these filters with a Convolutional Neural Network (CNN) to efficiently extract relevant spatiotemporal features. The combined network learns to output both the expected time to collision of the object, as well as the predicted collision point on a discretized polar grid. These critical estimates are computed with minimal delay by the network in order to react appropriately to the incoming object. We highlight the results of our system to a toy dart moving at 23.4m/s with a 24.73° error in θ, 18.4mm average discretized radius prediction error, and 25.03% median time to collision prediction error.