arXiv reaDer
A low-power end-to-end hybrid neuromorphic framework for surveillance applications
 ディープラーニングの成功により、実際のアプリケーションに展開できるオブジェクト認識システムが一般的になりつつあります。ただし、「エッジ」(サーバーで処理されない)で大部分を行う必要がある推論は、計算とメモリを大量に消費するワークロードであり、低電力モバイルノードやリモートセキュリティアプリケーションでは扱いにくいものになります。この課題に対処するために、このペーパーでは、低消費電力(5-14 mW)や高ダイナミックなどの望ましい特性を備えたイベントベースのカメラを使用した、オブジェクトの追跡と分類のための低電力(5W)エンドツーエンドニューロモーフィックフレームワークを提案します範囲(120 dB)。それにもかかわらず、イベントごとの処理を使用する従来のアプローチとは異なり、この作業では、フレームとイベントの混合アプローチを使用して、高性能でエネルギーを節約します。前景イベントの密度に基づくフレームベースの領域提案方法を使用して、オクルージョンシナリオに取り組みながら、見かけのオブジェクト速度を使用して、ハードウェアに優しいオブジェクトトラッキングを実装します。追跡対象の低電力分類のために、イベントカメラはIBM TrueNorthに接続され、トラフィック監視アプリケーションの最大8つのインスタンスに時間多重化されます。フレームベースのオブジェクトトラック入力は、エネルギー効率の高いディープネットワーク(EEDN)パイプラインを介してTruenorth分類のスパイクに変換されます。もともと収集されたデータセットを使用して、一般的に行われるグラウンドトゥルースオブジェクトの場所を使用する代わりに、ハードウェアトラック出力でTrueNorthモデルをトレーニングし、実用的な監視シナリオを処理するシステムの有効性を示します。最後に、オブジェクトの追跡と分類のために提案された方法論を最先端のイベントベースのシステムと比較し、パフォーマンスを犠牲にすることなく低電力アプリケーション向けのニューロモーフィックアプローチの使用例を示します。
With the success of deep learning, object recognition systems that can be deployed for real-world applications are becoming commonplace. However, inference that needs to largely take place on the `edge' (not processed on servers), is a highly computational and memory intensive workload, making it intractable for low-power mobile nodes and remote security applications. To address this challenge, this paper proposes a low-power (5W) end-to-end neuromorphic framework for object tracking and classification using event-based cameras that possess desirable properties such as low power consumption (5-14 mW) and high dynamic range (120 dB). Nonetheless, unlike traditional approaches of using event-by-event processing, this work uses a mixed frame and event approach to get energy savings with high performance. Using a frame-based region proposal method based on the density of foreground events, a hardware-friendly object tracking is implemented using the apparent object velocity while tackling occlusion scenarios. For low-power classification of the tracked objects, the event camera is interfaced to IBM TrueNorth, which is time-multiplexed to tackle up to eight instances for a traffic monitoring application. The frame-based object track input is converted back to spikes for Truenorth classification via the energy efficient deep network (EEDN) pipeline. Using originally collected datasets, we train the TrueNorth model on the hardware track outputs, instead of using ground truth object locations as commonly done, and demonstrate the efficacy of our system to handle practical surveillance scenarios. Finally, we compare the proposed methodologies to state-of-the-art event-based systems for object tracking and classification, and demonstrate the use case of our neuromorphic approach for low-power applications without sacrificing on performance.
updated: Wed Jan 29 2020 08:44:37 GMT+0000 (UTC)
published: Tue Oct 22 2019 07:51:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト