arXiv reaDer
スパイキングニューラルネットワークの学習を強化するための学習可能な膜時定数の組み込み
Incorporating Learnable Membrane Time Constant to Enhance Learning of Spiking Neural Networks
スパイキングニューラルネットワーク(SNN)は、一時的な情報処理機能、低消費電力、および高い生物学的妥当性により、大きな研究関心を集めています。ただし、SNNの効率的で高性能な学習アルゴリズムの定式化は依然として困難です。ほとんどの既存の学習方法は、シナプス関連のパラメーターのみを学習し、単一のスパイキングニューロンのダイナミクスを決定する膜関連のパラメーターを手動で調整する必要があります。これらのパラメータは通常、すべてのニューロンで同じになるように選択されます。これにより、ニューロンの多様性が制限され、結果として得られるSNNの表現力が制限されます。本論文では、膜関連パラメータが脳領域間で異なるという観察からインスピレーションを得て、シナプスの重みだけでなく、SNNの膜時定数も学習できるトレーニングアルゴリズムを提案します。学習可能な膜時定数を組み込むと、ネットワークの初期値に対する感度が低下し、学習が高速化されることを示します。さらに、SNNのプーリング方法を再評価し、max-poolingを使用すると、時間タスクでのSNNのフィッティング容量を増やし、計算コストを削減できることがわかりました。従来の静的MNIST、Fashion-MNIST、CIFAR-10データセット、およびニューロモーフィックN-MNIST、CIFAR10-DVS、DVS128ジェスチャデータセットの両方で、画像分類タスクの提案された方法を評価します。実験結果は、提案された方法が、より少ない時間ステップを使用して、ほぼすべてのデータセットで最先端の精度を上回っていることを示しています。
Spiking Neural Networks (SNNs) have attracted enormous research interest due to temporal information processing capability, low power consumption, and high biological plausibility. However, the formulation of efficient and high-performance learning algorithms for SNNs is still challenging. Most existing learning methods learn the synaptic-related parameters only, and require manual tuning of the membrane-related parameters that determine the dynamics of single spiking neurons. These parameters are typically chosen to be the same for all neurons, which limits the diversity of neurons and thus the expressiveness of the resulting SNNs. In this paper, we take inspiration from the observation that membrane-related parameters are different across brain regions, and propose a training algorithm that is capable to learn not only the synaptic weights but also the membrane time constants of SNN. We show that incorporating learnable membrane time constants can make the network less sensitive to initial values and can speed up learning. In addition, we reevaluate the pooling methods in SNNs and find that max-pooling is able to increase the fitting capacity of SNNs in temporal tasks, as well as reduce the computation cost. We evaluate the proposed method for image classification tasks on both traditional static MNIST, Fashion-MNIST, CIFAR-10 datasets, and neuromorphic N-MNIST, CIFAR10-DVS, DVS128 Gesture datasets. The experiment results show that the proposed method outperforms the state-of-the-art accuracy on nearly all datasets, using fewer time-steps.
updated: Tue Nov 24 2020 12:47:40 GMT+0000 (UTC)
published: Sat Jul 11 2020 14:35:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト