arXiv reaDer
Temporal-Coded Deep Spiking Neural Network with Easy Training and Robust Performance
スパイクニューラルネットワーク(SNN)は、その強力なバイオインスピレーションの性質と潜在的に卓越したエネルギー効率のために、理論的にも実際にも興味深いものです。残念ながら、その開発は従来のディープニューラルネットワーク(DNN)よりもはるかに遅れています。これは主に、トレーニングが難しく、広く受け入れられているハードウェア実験プラットフォームがないためです。このホワイトペーパーでは、同等のサイズとアーキテクチャのDNNの1%以内のテスト精度で、ベンチマークデータセットCIFAR10とImageNetでディープテンポラルコードSNNを簡単かつ直接トレーニングできることを示します。スパイク波形ダイナミクスのクローズドソリューションにより、トレーニングはDNNと同様になります。 SNNは実用的なニューロモーフィックハードウェアに実装する必要があることを考慮して、重みを8、4、2ビットに量子化し、ランダムノイズによって摂動される重みでディープSNNをトレーニングして、実際のアプリケーションでの堅牢性を示します。さらに、位相ドメイン信号処理回路図を開発して、既存の作業よりもエネルギー効率が90%向上したスパイクニューロンを実装します。このペーパーは、時間コード化されたディープSNNが、高性能でエネルギー効率の高いアプリケーションに適していることを示しています。
Spiking neural network (SNN) is interesting both theoretically and practically because of its strong bio-inspiration nature and potentially outstanding energy efficiency. Unfortunately, its development has fallen far behind the conventional deep neural network (DNN), mainly because of difficult training and lack of widely accepted hardware experiment platforms. In this paper, we show that a deep temporal-coded SNN can be trained easily and directly over the benchmark datasets CIFAR10 and ImageNet, with testing accuracy within 1% of the DNN of equivalent size and architecture. Training becomes similar to DNN thanks to the closed-form solution to the spiking waveform dynamics. Considering that SNNs should be implemented in practical neuromorphic hardwares, we train the deep SNN with weights quantized to 8, 4, 2 bits and with weights perturbed by random noise to demonstrate its robustness in practical applications. In addition, we develop a phase-domain signal processing circuit schematic to implement our spiking neuron with 90% gain of energy efficiency over existing work. This paper demonstrates that the temporal-coded deep SNN is feasible for applications with high performance and high energy efficient.
updated: Fri Sep 17 2021 12:58:08 GMT+0000 (UTC)
published: Tue Sep 24 2019 12:28:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト