arXiv reaDer
Towards Scalable, Efficient and Accurate Deep Spiking Neural Networks with Backward Residual Connections, Stochastic Softmax and Hybridization
 スパイキングニューラルネットワーク(SNN)は、ディープラーニングアプリケーションを実装するためのエネルギー効率の高い代替手段を提供します。近年、大規模タスクでのSNNの精度を向上させるために、教師あり(変換、スパイクベースの勾配降下)および教師なし(スパイクタイミング依存可塑性)のトレーニング方法に焦点を当てたいくつかの提案がありました。ただし、これらの各方法には、スケーラビリティ、遅延、精度の制限があります。本論文では、後方残差接続、確率的ソフトマックス、およびハイブリッド人工/スパイクニューロン活性化を使用してSNN構成を変更し、トレーニング手法の学習能力を向上させて競争効率を高めながら、大きな効率向上をもたらす新しいアルゴリズム手法を提案します人工的な対応物よりも。人工的な対応物は、従来の深層学習/人工ニューラルネットワークを指すことに注意してください。私たちの技術はVGG / Residualアーキテクチャに適用され、すべての形式のトレーニング方法と互換性があります。分析の結果、提案されたソリューションは、CIFAR10、Imagenetデータセットなどの複雑な視覚認識タスクのハードウェアの改善につながる、大幅なエネルギー効率とパラメーターオーバーヘッドの削減により、ほぼ最先端の精度を実現することが明らかになりました。
Spiking Neural Networks (SNNs) may offer an energy-efficient alternative for implementing deep learning applications. In recent years, there have been several proposals focused on supervised (conversion, spike-based gradient descent) and unsupervised (spike timing dependent plasticity) training methods to improve the accuracy of SNNs on large-scale tasks. However, each of these methods suffer from scalability, latency and accuracy limitations. In this paper, we propose novel algorithmic techniques of modifying the SNN configuration with backward residual connections, stochastic softmax and hybrid artificial-and-spiking neuronal activations to improve the learning ability of the training methodologies to yield competitive accuracy, while, yielding large efficiency gains over their artificial counterparts. Note, artificial counterparts refer to conventional deep learning/artificial neural networks. Our techniques apply to VGG/Residual architectures, and are compatible with all forms of training methodologies. Our analysis reveals that the proposed solutions yield near state-of-the-art accuracy with significant energy-efficiency and reduced parameter overhead translating to hardware improvements on complex visual recognition tasks, such as, CIFAR10, Imagenet datatsets.
updated: Wed Oct 30 2019 15:31:15 GMT+0000 (UTC)
published: Wed Oct 30 2019 15:31:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト