代替のセンシングパラダイムとして、ダイナミックビジョンセンサー(DVS)が最近検討され、従来のセンサーが高いデータレートと処理時間をもたらすシナリオに取り組んでいます。このホワイトペーパーでは、静止ニューロモルフィックセンサーによって記録されたオブジェクトを検出および追跡するためのハイブリッドイベントフレームアプローチを紹介します。これにより、トラフィック監視用の低電力設定でスパースDVS出力を活用します。具体的には、IoTアプリケーションでの長期的なバッテリ駆動の使用を可能にするメモリと計算のニーズを最適化するハードウェア効率の高い処理パイプラインを提案します。静的DVSの背景除去プロパティを活用するために、フレーム期間内のイベントの有無を通知するイベントベースのバイナリイメージ作成を提案します。これにより、メモリ要件が軽減され、ノイズ除去と領域提案のそれぞれにメディアンフィルタリングや連結成分ラベリングなどの単純なアルゴリズムを使用できるようになります。断片化の問題を克服するために、断片化された領域の提案をマージするためのYOLOに触発されたニューラルネットワークベースの検出器と分類器が提案されています。最後に、新しいオーバーラップベースのトラッカーが実装され、検出とトラック間のオーバーラップを活用して、オクルージョンを克服するためのヒューリスティックが提案されました。提案されたパイプラインは、2つの異なるニューロモルフィックセンサー(DVSとCeleX)の3つの異なる場所にまたがる、5時間以上のトラフィック記録で評価され、同様のパフォーマンスを示します。既存のイベントベースの機能トラッカーと比較して、私たちの方法は、約6分の1の計算で、同様の精度を提供します。私たちの知る限り、定常DVSベースのトラフィック監視ソリューションが同時に記録されたRGBフレームベースの方法と広範囲に比較されるのはこれが初めてであり、最先端の深層学習ソリューションよりも優れた性能を発揮することで大きな期待が寄せられています。
As an alternative sensing paradigm, dynamic vision sensors (DVS) have been recently explored to tackle scenarios where conventional sensors result in high data rate and processing time. This paper presents a hybrid event-frame approach for detecting and tracking objects recorded by a stationary neuromorphic sensor, thereby exploiting the sparse DVS output in a low-power setting for traffic monitoring. Specifically, we propose a hardware efficient processing pipeline that optimizes memory and computational needs that enable long-term battery powered usage for IoT applications. To exploit the background removal property of a static DVS, we propose an event-based binary image creation that signals presence or absence of events in a frame duration. This reduces memory requirement and enables usage of simple algorithms like median filtering and connected component labeling for denoise and region proposal respectively. To overcome the fragmentation issue, a YOLO inspired neural network based detector and classifier to merge fragmented region proposals has been proposed. Finally, a new overlap based tracker was implemented, exploiting overlap between detections and tracks is proposed with heuristics to overcome occlusion. The proposed pipeline is evaluated with more than 5 hours of traffic recording spanning three different locations on two different neuromorphic sensors (DVS and CeleX) and demonstrate similar performance. Compared to existing event-based feature trackers, our method provides similar accuracy while needing approx 6 times less computes. To the best of our knowledge, this is the first time a stationary DVS based traffic monitoring solution is extensively compared to simultaneously recorded RGB frame-based methods while showing tremendous promise by outperforming state-of-the-art deep learning solutions.