ニューロモルフィックビジョンセンサー(NVS)は、従来のセンサーが高いデータレートと処理時間をもたらすシナリオに取り組むために最近調査されました。このホワイトペーパーでは、静止ニューロモルフィックセンサーによって記録されたオブジェクトを検出および追跡するためのハイブリッドイベントフレームアプローチを紹介します。これにより、トラフィック監視用の低電力設定でスパースNVS出力を活用します。具体的には、メモリと計算のニーズを最適化するハードウェア効率の高い処理パイプラインを提案します。 NVSを使用すると、背景が拒否されるという利点がありますが、オブジェクトが断片化されるという独特の欠点があります。背景の除去を活用するために、フレーム期間内のイベントの有無を通知するイベントベースのバイナリイメージの作成を提案します。これにより、メモリ要件が軽減され、ノイズ除去と領域提案のために、それぞれメディアンフィルタリングや連結成分ラベリングなどの単純なアルゴリズムを使用できるようになります。断片化の問題を克服するために、断片化された領域の提案をマージするためのYOLOに触発されたニューラルネットワークベースの検出器と分類器が提案されています。最後に、検出とトラック間のオーバーラップを利用するオーバーラップベースのトラッカーが、オクルージョンを克服するためのヒューリスティックで提案されます。提案されたパイプラインは、2つの異なるNVS上の3つの異なる場所にまたがる、5時間以上のトラフィック記録で評価され、同様のパフォーマンスを示します。既存のイベントベースの機能トラッカーと比較して、私たちの方法は、6分の1の計算で済みながら、同様の精度を提供します。私たちの知る限り、定常NVSベースのトラフィック監視ソリューションが同時に記録されたRGBフレーム方式と広範囲に比較されるのはこれが初めてであり、最先端の深層学習ソリューションを凌駕することで大きな期待を示しています。
Neuromorphic vision sensors (NVS) have been recently explored to tackle scenarios where conventional sensors result in high data rate and processing time. This paper presents a hybrid event-frame approach for detecting and tracking objects recorded by a stationary neuromorphic sensor, thereby exploiting the sparse NVS output in a low-power setting for traffic monitoring. Specifically, we propose a hardware efficient processing pipeline that optimizes memory and computational needs. The usage of NVS gives the advantage of rejecting background while it has a unique disadvantage of fragmented objects. To exploit the background removal, we propose an event-based binary image creation that signals presence or absence of events in a frame duration. This reduces memory requirement and enables usage of simple algorithms like median filtering and connected component labeling for denoise and region proposal respectively. To overcome the fragmentation issue, a YOLO-inspired neural network based detector and classifier to merge fragmented region proposals has been proposed. Finally, an overlap based tracker exploiting overlap between detections and tracks is proposed with heuristics to overcome occlusion. The proposed pipeline is evaluated with more than 5 hours of traffic recording spanning three different locations on two different NVS and demonstrate similar performance. Compared to existing event-based feature trackers, our method provides similar accuracy while needing 6 times less computes. To the best of our knowledge, this is the first time a stationary NVS based traffic monitoring solution is extensively compared to simultaneously recorded RGB frame-methods while showing tremendous promise by outperforming state-of-the-art deep learning solutions.