arXiv reaDer
スパイクキャリブレーション:オブジェクトの検出とセグメンテーションのためのスパイキングニューラルネットワークの高速で正確な変換
Spike Calibration: Fast and Accurate Conversion of Spiking Neural Network for Object Detection and Segmentation
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアでの生物学的妥当性が高く、エネルギー消費量が少ないという特性により、非常に重要視されています。ディープSNNを取得するための効率的な方法として、変換方法はさまざまな大規模データセットで高いパフォーマンスを示しています。ただし、通常、パフォーマンスが大幅に低下し、時間の遅延が大きくなります。特に、これまでの作業のほとんどは、ANN出力の正確な近似を無視しながら、単純な分類タスクに焦点を合わせています。この論文では、最初に変換誤差を理論的に分析し、シナプス電流に対する時変極値の有害な影響を導き出します。スパイクキャリブレーション(SpiCalib)を提案して、出力分布への離散スパイクの損傷を排除し、LIPoolingを変更して、任意のMaxPoolingレイヤーをロスレスで変換できるようにします。さらに、経験的な設定を回避するために、最適な正規化パラメータのベイズ最適化が提案されています。実験結果は、分類、オブジェクト検出、およびセグメンテーションタスクに関する最先端のパフォーマンスを示しています。私たちの知る限り、これらのタスクでANNに匹敵するSNNを同時に取得するのはこれが初めてです。さらに、検出タスクでの前の作業の1/50の推論時間のみが必要であり、セグメンテーションタスクでのANNの0.492倍のエネルギー消費量で同じパフォーマンスを達成できます。
Spiking neural network (SNN) has been attached to great importance due to the properties of high biological plausibility and low energy consumption on neuromorphic hardware. As an efficient method to obtain deep SNN, the conversion method has exhibited high performance on various large-scale datasets. However, it typically suffers from severe performance degradation and high time delays. In particular, most of the previous work focuses on simple classification tasks while ignoring the precise approximation to ANN output. In this paper, we first theoretically analyze the conversion errors and derive the harmful effects of time-varying extremes on synaptic currents. We propose the Spike Calibration (SpiCalib) to eliminate the damage of discrete spikes to the output distribution and modify the LIPooling to allow conversion of the arbitrary MaxPooling layer losslessly. Moreover, Bayesian optimization for optimal normalization parameters is proposed to avoid empirical settings. The experimental results demonstrate the state-of-the-art performance on classification, object detection, and segmentation tasks. To the best of our knowledge, this is the first time to obtain SNN comparable to ANN on these tasks simultaneously. Moreover, we only need 1/50 inference time of the previous work on the detection task and can achieve the same performance under 0.492× energy consumption of ANN on the segmentation task.
updated: Wed Jul 06 2022 14:18:44 GMT+0000 (UTC)
published: Wed Jul 06 2022 14:18:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト