スパイキングニューラルネットワーク(SNN)は、脳に着想を得たモデルの1つとして、時空間情報処理機能、低電力機能、および高い生物学的妥当性を備えています。効果的な時空間機能により、イベントストリームの分類に適しています。ただし、N-MNIST、CIFAR10-DVS、DVS128ジェスチャなどのニューロモルフィックデータセットは、イベントストリーム分類のために、個々のイベントを新しいより高い時間分解能でフレームに集約する必要があります。これにより、トレーニングと推論の待ち時間が長くなります。この作業では、トレーニングと推論の待ち時間を短縮するために、個々のイベントをシナプス電流のいくつかのタイムステップに集約する時空間圧縮方法を提案しました。高い圧縮率の下でSNNの精度を維持するために、隣接する時間ステップ間の劇的な変化のバランスをとるためのシナプス畳み込みブロックも提案しました。また、学習可能な膜時定数を備えたマルチスレッショルドLeaky Integrate-and-Fire(LIF)が導入され、情報処理能力が向上しています。ニューロモルフィックN-MNIST、CIFAR10-DVS、DVS128ジェスチャデータセットでのイベントストリーム分類タスクの提案された方法を評価します。実験結果は、提案された方法が、より少ない時間ステップを使用して、ほぼすべてのデータセットで最先端の精度を上回っていることを示しています。
Spiking neural networks (SNNs), as one of the brain-inspired models, has spatio-temporal information processing capability, low power feature, and high biological plausibility. The effective spatio-temporal feature makes it suitable for event streams classification. However, neuromorphic datasets, such as N-MNIST, CIFAR10-DVS, DVS128-gesture, need to aggregate individual events into frames with a new higher temporal resolution for event stream classification, which causes high training and inference latency. In this work, we proposed a spatio-temporal compression method to aggregate individual events into a few time steps of synaptic current to reduce the training and inference latency. To keep the accuracy of SNNs under high compression ratios, we also proposed a synaptic convolutional block to balance the dramatic change between adjacent time steps. And multi-threshold Leaky Integrate-and-Fire (LIF) with learnable membrane time constant is introduced to increase its information processing capability. We evaluate the proposed method for event streams classification tasks on neuromorphic N-MNIST, CIFAR10-DVS, DVS128 gesture datasets. The experiment results show that our proposed method outperforms the state-of-the-art accuracy on nearly all datasets, using fewer time steps.