スパイクニューラルネットワーク(SNN)は、その生物学的妥当性について大きな注目を集めています。 SNNは理論的には、少なくとも従来の人工ニューラルネットワーク(ANN)と同じ計算能力を備えています。ディープニューラルネットワーク(DNN)に匹敵するパフォーマンスを維持しながら、エネルギー効率を達成する可能性があります。ただし、非常に深いSNNをトレーニングすることは依然として大きな課題です。この論文では、ディープ残余ネットワーク(ResNet)のスパイクバージョンを構築するための効率的なアプローチを提案します。 ResNetは、最先端の畳み込みニューラルネットワーク(CNN)の一種と見なされています。トレーニング済みのResNetをスパイキングニューロンのネットワークに変換するという考え方を採用しています。これは、Spiking ResNet(S-ResNet)という名前です。 SNNの発火率に一致するように連続値のアクティベーションを適切にスケーリングするショートカット変換モデルと、離散化によって引き起こされるエラーを減らすための補正メカニズムを提案します。実験結果は、最先端のSNNアプローチと比較して、提案されたSpiking ResNetがCIFAR-10、CIFAR-100、およびImageNet 2012で最高のパフォーマンスを達成することを示しています。 40を超え、大規模なデータセットでANNに匹敵するパフォーマンスを示しました。
Spiking neural networks (SNNs) have received significant attention for their biological plausibility. SNNs theoretically have at least the same computational power as traditional artificial neural networks (ANNs). They possess potential of achieving energy-efficiency while keeping comparable performance to deep neural networks (DNNs). However, it is still a big challenge to train a very deep SNN. In this paper, we propose an efficient approach to build a spiking version of deep residual network (ResNet). ResNet is considered as a kind of the state-of-the-art convolutional neural networks (CNNs). We employ the idea of converting a trained ResNet to a network of spiking neurons, named Spiking ResNet (S-ResNet). We propose a shortcut conversion model to appropriately scale continuous-valued activations to match firing rates in SNN, and a compensation mechanism to reduce the error caused by discretisation. Experimental results demonstrate that, compared with the state-of-the-art SNN approaches, the proposed Spiking ResNet achieves the best performance on CIFAR-10, CIFAR-100, and ImageNet 2012. Our work is the first time to build a SNN deeper than 40, with comparable performance to ANNs on a large-scale dataset.