arXiv reaDer
生体模倣適応内部連合ニューロンを使用したより強力なスパイキング ニューラル ネットワークのトレーニング
Training Stronger Spiking Neural Networks with Biomimetic Adaptive Internal Association Neurons
第 3 世代のニューラル ネットワークであるスパイキング ニューラル ネットワーク (SNN) は、生物学に近い知性を実現するための、より洞察力に富んだニューラル メカニズムの探索に専念しています。直感的に、生体模倣メカニズムは SNN の理解と改善に不可欠です。たとえば、連想長期増強 (ALTP) 現象は、ニューロン間の学習メカニズムに加えて、ニューロン内に連想効果があることを示唆しています。ただし、ほとんどの既存の方法は前者にのみ焦点を当てており、内部関連効果の調査が不足しています。この論文では、以前は無視されていたニューロン内の影響を確立するために、新しいAdaptive Internal Association~(AIA)ニューロンモデルを提案します。 ALTP 現象と一致して、AIA ニューロン モデルは入力刺激に適応し、両方の樹状突起が同時に刺激された場合にのみ内部連想学習が発生します。さらに、重み付けされた重みを使用して内部関連付けを測定し、中間キャッシュを導入して関連付けの揮発性を減らします。一般的なニューロモルフィック データセットに関する広範な実験は、提案された方法がスパイクの発火をより具体的に増強または抑制できることを示しており、その結果、スパイクが少なくてもパフォーマンスが向上します。推論時にパラメーターを追加することなく、AIA モデルが DVS-CIFAR10~(83.9%) および N-CARS~(95.64%) データセットで最先端のパフォーマンスを達成することは注目に値します。
As the third generation of neural networks, spiking neural networks (SNNs) are dedicated to exploring more insightful neural mechanisms to achieve near-biological intelligence. Intuitively, biomimetic mechanisms are crucial to understanding and improving SNNs. For example, the associative long-term potentiation (ALTP) phenomenon suggests that in addition to learning mechanisms between neurons, there are associative effects within neurons. However, most existing methods only focus on the former and lack exploration of the internal association effects. In this paper, we propose a novel Adaptive Internal Association~(AIA) neuron model to establish previously ignored influences within neurons. Consistent with the ALTP phenomenon, the AIA neuron model is adaptive to input stimuli, and internal associative learning occurs only when both dendrites are stimulated at the same time. In addition, we employ weighted weights to measure internal associations and introduce intermediate caches to reduce the volatility of associations. Extensive experiments on prevailing neuromorphic datasets show that the proposed method can potentiate or depress the firing of spikes more specifically, resulting in better performance with fewer spikes. It is worth noting that without adding any parameters at inference, the AIA model achieves state-of-the-art performance on DVS-CIFAR10~(83.9%) and N-CARS~(95.64%) datasets.
updated: Tue Mar 14 2023 02:51:07 GMT+0000 (UTC)
published: Sun Jul 24 2022 06:12:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト