スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップでの高いエネルギー効率のために非常に重要視されてきました。これらのチップは通常、リソースに制約があるため、SNNの圧縮は、SNNの実用化の過程で非常に重要です。ほとんどの既存の方法は、人工ニューラルネットワーク(ANN)のプルーニングアプローチをSNNに直接適用します。これは、ANNとSNNの違いを無視するため、プルーニングされたSNNのパフォーマンスが制限されます。さらに、これらの方法は浅いSNNにのみ適しています。この論文では、神経系におけるシナプス形成とシナプス除去に触発されて、SNNの接続性と重みの共同学習アルゴリズムである勾配再配線(Grad R)を提案します。これにより、再トレーニングなしでネットワーク構造をシームレスに最適化できます。私たちの重要な革新は、勾配を新しいシナプスパラメータに再定義し、接続のプルーニングと再成長の間の競争を最大限に活用することで、ネットワーク構造のより良い探索を可能にすることです。実験結果は、提案された方法が、これまでのところ、MNISTおよびCIFAR-10データセットでのSNNのパフォーマンスの損失を最小限に抑えることを示しています。さらに、前例のない0.73%の接続性の下で約3.5%の精度低下に達し、SNNの顕著な構造精製能力を明らかにします。私たちの仕事は、深いSNNには非常に高い冗長性が存在することを示唆しています。コードはhttps://github.com/Yanqi-Chen/Gradient-Rewiringで入手できます。
Spiking Neural Networks (SNNs) have been attached great importance due to their biological plausibility and high energy-efficiency on neuromorphic chips. As these chips are usually resource-constrained, the compression of SNNs is thus crucial along the road of practical use of SNNs. Most existing methods directly apply pruning approaches in artificial neural networks (ANNs) to SNNs, which ignore the difference between ANNs and SNNs, thus limiting the performance of the pruned SNNs. Besides, these methods are only suitable for shallow SNNs. In this paper, inspired by synaptogenesis and synapse elimination in the neural system, we propose gradient rewiring (Grad R), a joint learning algorithm of connectivity and weight for SNNs, that enables us to seamlessly optimize network structure without retrain. Our key innovation is to redefine the gradient to a new synaptic parameter, allowing better exploration of network structures by taking full advantage of the competition between pruning and regrowth of connections. The experimental results show that the proposed method achieves minimal loss of SNNs' performance on MNIST and CIFAR-10 dataset so far. Moreover, it reaches a ∼3.5% accuracy loss under unprecedented 0.73% connectivity, which reveals remarkable structure refining capability in SNNs. Our work suggests that there exists extremely high redundancy in deep SNNs. Our codes are available at https://github.com/Yanqi-Chen/Gradient-Rewiring .