スパイキングニューラルネットワーク(SNN)は、イベントベースの性質があるため、低電力の組み込みシステム(新しいニューロモーフィックチップなど)で使用できます。また、従来の人工ニューラルネットワーク(ANN)とは対照的に、ANNの特性を維持しながら、計算コストが低いという利点があります。ただし、畳み込みスパイキングニューラルネットワークや他のタイプのSNNのレイヤーでの時間コーディングはまだ研究されていません。この論文では、この特性を利用するように設計された実験で、畳み込みSNNの時空間特徴抽出への洞察を提供します。浅い畳み込みSNNは、C3D、ConvLstm、および同様のネットワークなどの最先端の時空間特徴抽出法よりも優れています。さらに、NMNIST(99.6%)、DVS-CIFAR10(69.2%)、およびDVS-Gesture(96.7)の他のSNNメソッドと比較して優れたパフォーマンスを達成した、現実の問題(特に分類タスク)に取り組むための新しいディープスパイクアーキテクチャを紹介します。 %)およびUCF-101(42.1%)およびHMDB-51(21.5%)データセットのANNメソッド。トレーニングプロセスは、このペーパーで説明されている時空間バックプロパゲーションのバリエーションに基づいて実装されていることにも注意してください。
Spiking neural networks (SNNs) can be used in low-power and embedded systems (such as emerging neuromorphic chips) due to their event-based nature. Also, they have the advantage of low computation cost in contrast to conventional artificial neural networks (ANNs), while preserving ANN's properties. However, temporal coding in layers of convolutional spiking neural networks and other types of SNNs has yet to be studied. In this paper, we provide insight into spatio-temporal feature extraction of convolutional SNNs in experiments designed to exploit this property. The shallow convolutional SNN outperforms state-of-the-art spatio-temporal feature extractor methods such as C3D, ConvLstm, and similar networks. Furthermore, we present a new deep spiking architecture to tackle real-world problems (in particular classification tasks) which achieved superior performance compared to other SNN methods on NMNIST (99.6%), DVS-CIFAR10 (69.2%) and DVS-Gesture (96.7%) and ANN methods on UCF-101 (42.1%) and HMDB-51 (21.5%) datasets. It is also worth noting that the training process is implemented based on variation of spatio-temporal backpropagation explained in the paper.