arXiv reaDer
自動車のイベントデータでのスパイキングニューラルネットワークによる物体検出
Object Detection with Spiking Neural Networks on Automotive Event Data
自動車に組み込まれたアルゴリズムには、遅延、精度、消費電力の点で非常に高い制約があります。この作業では、スパイキングニューラルネットワーク(SNN)をイベントカメラからのデータに直接トレーニングして、高速で効率的な自動車組み込みアプリケーションを設計することを提案します。実際、SNNは、ニューロンが離散的で非同期のスパイクを使用して通信する、より生物学的に現実的なニューラルネットワークであり、自然にエネルギー効率が高く、ハードウェアに優しい動作モードです。したがって、バイナリで空間と時間がまばらなイベントデータは、スパイキングニューラルネットワークの理想的な入力です。しかし、これまでのところ、制御されていない環境で複雑なオブジェクトを検出するなど、自動車の実際の問題にはパフォーマンスが不十分でした。この問題に対処するために、スパイクバックプロパゲーションに関する最新の進歩(代理勾配学習、パラメトリックLIF、SpikingJellyフレームワーク)と、人気のある深層学習ネットワークに基づいて4つの異なるSNNをトレーニングする新しいボクセルキューブイベントエンコーディングを利用しました:SqueezeNet、 VGG、MobileNet、およびDenseNet。その結果、文献で通常検討されているSNNのサイズと複雑さを増やすことができました。この論文では、2つの自動車イベントデータセットで実験を行い、スパイキングニューラルネットワークの新しい最先端の分類結果を確立しました。これらの結果に基づいて、SNNとSSDを組み合わせて、複雑なGEN1AutomotiveDetectionイベントデータセットでオブジェクト検出を実行できる最初のスパイキングニューラルネットワークを提案しました。
Automotive embedded algorithms have very high constraints in terms of latency, accuracy and power consumption. In this work, we propose to train spiking neural networks (SNNs) directly on data coming from event cameras to design fast and efficient automotive embedded applications. Indeed, SNNs are more biologically realistic neural networks where neurons communicate using discrete and asynchronous spikes, a naturally energy-efficient and hardware friendly operating mode. Event data, which are binary and sparse in space and time, are therefore the ideal input for spiking neural networks. But to date, their performance was insufficient for automotive real-world problems, such as detecting complex objects in an uncontrolled environment. To address this issue, we took advantage of the latest advancements in matter of spike backpropagation - surrogate gradient learning, parametric LIF, SpikingJelly framework - and of our new voxel cube event encoding to train 4 different SNNs based on popular deep learning networks: SqueezeNet, VGG, MobileNet, and DenseNet. As a result, we managed to increase the size and the complexity of SNNs usually considered in the literature. In this paper, we conducted experiments on two automotive event datasets, establishing new state-of-the-art classification results for spiking neural networks. Based on these results, we combined our SNNs with SSD to propose the first spiking neural networks capable of performing object detection on the complex GEN1 Automotive Detection event dataset.
updated: Mon May 09 2022 14:39:47 GMT+0000 (UTC)
published: Mon May 09 2022 14:39:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト