arXiv reaDer
ディープスパイキングニューラルネットワークをトレーニングするための生物学的にもっともらしい時空間調整によるバックプロパゲーション
Backpropagation with Biologically Plausible Spatio-Temporal Adjustment For Training Deep Spiking Neural Networks
スパイキングニューラルネットワーク(SNN)は、人間の脳の情報処理操作を模倣し、豊富な空間的および時間的情報を含むスパイク列で情報を表現および送信し、多くの認知タスクで優れたパフォーマンスを示します。さらに、イベント駆動型情報処理により、ニューロモルフィックチップへのエネルギー効率の高い実装が可能になります。ディープラーニングの成功は、バックプロパゲーションと切り離せません。離散的な情報送信のため、SNNのトレーニングにバックプロパゲーションを直接適用すると、従来のディープニューラルネットワークと比較してパフォーマンスのギャップが生じます。また、パフォーマンスを向上させるには長いシミュレーション時間が必要であり、その結果、待ち時間が長くなります。問題に対処するために、膜電位とスパイクの関係を再考し、さまざまな時間ステップへの勾配の合理的な調整を実現する、生物学的にもっともらしい空間調整を提案します。また、空間次元に沿ったエラーの逆伝播を正確に制御します。次に、生物学的にもっともらしい時間調整を提案し、エラーを時間次元のスパイク全体に伝播させます。これにより、従来のスパイキングニューロンの単一スパイク期間内の時間依存性の問題が克服されます。いくつかのデータセットでアルゴリズムを検証しました。実験結果は、アルゴリズムがネットワークの遅延とエネルギー消費を大幅に削減すると同時に、ネットワークのパフォーマンスを向上させることを示しています。ニューロモルフィックデータセットN-MNIST、DVS-Gesture、およびDVS-CIFAR10で最先端のパフォーマンスを実現しました。静的データセットMNISTおよびCIFAR10については、従来のSNNバックプロパゲーショントレーニングアルゴリズムのほとんどを上回り、比較的優れたパフォーマンスを達成しました。
The spiking neural network (SNN) mimics the information processing operation in the human brain, represents and transmits information in spike trains containing wealthy spatial and temporal information, and shows superior performance on many cognitive tasks. In addition, the event-driven information processing enables the energy-efficient implementation on neuromorphic chips. The success of deep learning is inseparable from backpropagation. Due to the discrete information transmission, directly applying the backpropagation to the training of the SNN still has a performance gap compared with the traditional deep neural networks. Also, a large simulation time is required to achieve better performance, which results in high latency. To address the problems, we propose a biological plausible spatial adjustment, which rethinks the relationship between membrane potential and spikes and realizes a reasonable adjustment of gradients to different time steps. And it precisely controls the backpropagation of the error along the spatial dimension. Secondly, we propose a biologically plausible temporal adjustment making the error propagate across the spikes in the temporal dimension, which overcomes the problem of the temporal dependency within a single spike period of the traditional spiking neurons. We have verified our algorithm on several datasets, and the experimental results have shown that our algorithm greatly reduces the network latency and energy consumption while also improving network performance. We have achieved state-of-the-art performance on the neuromorphic datasets N-MNIST, DVS-Gesture, and DVS-CIFAR10. For the static datasets MNIST and CIFAR10, we have surpassed most of the traditional SNN backpropagation training algorithm and achieved relatively superior performance.
updated: Fri Oct 22 2021 00:51:23 GMT+0000 (UTC)
published: Sun Oct 17 2021 15:55:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト