arXiv reaDer
スパイキングニューラルネットワークの学習を強化するためのシナプス間の結合可塑性のモデリング
Modeling Associative Plasticity between Synapses to Enhance Learning of Spiking Neural Networks
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアでのエネルギー効率の高い実装を可能にする第3世代の人工ニューラルネットワークです。ただし、スパイクの離散送信は、堅牢で高性能な学習メカニズムに重大な課題をもたらします。ほとんどの既存の研究はニューロン間の学習にのみ焦点を合わせていますが、シナプス間の影響を無視しているため、堅牢性と精度が失われています。この問題に対処するために、連想長期増強(ALTP)の生理学的現象から観察されたシナプス間の連想可塑性(APBS)をモデル化することにより、堅牢で効果的な学習メカニズムを提案します。提案されたAPBS法では、同じニューロンのシナプスは、他のニューロンによって同時に刺激されると、共有因子を介して相互作用します。さらに、ネットワークの一般化能力を向上させるために、時空間トリミングおよびフリッピング(STCF)メソッドを提案します。広範な実験により、私たちのアプローチは、静的CIFAR-10データセットで優れたパフォーマンスを実現し、軽量畳み込みネットワークによってニューロモルフィックMNIST-DVS、CIFAR10-DVSデータセットで最先端のパフォーマンスを実現することが実証されています。私たちの知る限り、シナプス間の学習方法とニューロモルフィックデータの拡張アプローチを探求するのはこれが初めてです。
Spiking Neural Networks (SNNs) are the third generation of artificial neural networks that enable energy-efficient implementation on neuromorphic hardware. However, the discrete transmission of spikes brings significant challenges to the robust and high-performance learning mechanism. Most existing works focus solely on learning between neurons but ignore the influence between synapses, resulting in a loss of robustness and accuracy. To address this problem, we propose a robust and effective learning mechanism by modeling the associative plasticity between synapses (APBS) observed from the physiological phenomenon of associative long-term potentiation (ALTP). With the proposed APBS method, synapses of the same neuron interact through a shared factor when concurrently stimulated by other neurons. In addition, we propose a spatiotemporal cropping and flipping (STCF) method to improve the generalization ability of our network. Extensive experiments demonstrate that our approaches achieve superior performance on static CIFAR-10 datasets and state-of-the-art performance on neuromorphic MNIST-DVS, CIFAR10-DVS datasets by a lightweight convolution network. To our best knowledge, this is the first time to explore a learning method between synapses and an extended approach for neuromorphic data.
updated: Sun Jul 24 2022 06:12:23 GMT+0000 (UTC)
published: Sun Jul 24 2022 06:12:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト