arXiv reaDer
GLIF: ニューラル ネットワークをスパイキングするためのユニファイド ゲーテッド リーキー インテグレート アンド ファイア ニューロン
GLIF: A Unified Gated Leaky Integrate-and-Fire Neuron for Spiking Neural Networks
スパイク ニューラル ネットワーク (SNN) は、その生物学的妥当性を組み込み、有望なエネルギー効率を活用するために、何十年にもわたって研究されてきました。既存の SNN 全体で、スパイク ニューロンを定式化するために漏出統合発火 (LIF) モデルが一般的に採用され、さまざまな生物学的特徴を持つ多数のバリアントに進化します。ただし、ほとんどの LIF ベースのニューロンは、さまざまなニューロンの動作において単一の生物学的特徴のみをサポートしており、その表現力とニューロンの動的多様性を制限しています。この論文では、スパイクニューロンの表現空間を拡大し、さまざまなニューロンの行動のさまざまな生体機能を融合するために、統合されたスパイキングニューロンである GLIF を提案します。 GLIF では、融合されたバイオ機能の割合を決定するために利用されるゲーティング ファクターは、トレーニング中に学習可能です。学習可能なすべての膜関連パラメーターを組み合わせることで、私たちの方法はスパイク ニューロンを異なるものにし、絶えず変化させることができるため、スパイク ニューロンの不均一性と適応性が向上します。さまざまなデータセットでの広範な実験により、ニューロンの定式化を GLIF に変更するだけで、他の SNN と比較して優れたパフォーマンスが得られることが実証されています。特に、GLIF を使用してスパイキング ResNet-19 をトレーニングし、最先端の CIFAR-100 で 6 タイム ステップで 77.35% のトップ 1 精度を達成しています。コードは https://github.com/Ikarosy/Gated-LIF で入手できます。
Spiking Neural Networks (SNNs) have been studied over decades to incorporate their biological plausibility and leverage their promising energy efficiency. Throughout existing SNNs, the leaky integrate-and-fire (LIF) model is commonly adopted to formulate the spiking neuron and evolves into numerous variants with different biological features. However, most LIF-based neurons support only single biological feature in different neuronal behaviors, limiting their expressiveness and neuronal dynamic diversity. In this paper, we propose GLIF, a unified spiking neuron, to fuse different bio-features in different neuronal behaviors, enlarging the representation space of spiking neurons. In GLIF, gating factors, which are exploited to determine the proportion of the fused bio-features, are learnable during training. Combining all learnable membrane-related parameters, our method can make spiking neurons different and constantly changing, thus increasing the heterogeneity and adaptivity of spiking neurons. Extensive experiments on a variety of datasets demonstrate that our method obtains superior performance compared with other SNNs by simply changing their neuronal formulations to GLIF. In particular, we train a spiking ResNet-19 with GLIF and achieve 77.35% top-1 accuracy with six time steps on CIFAR-100, which has advanced the state-of-the-art. Codes are available at https://github.com/Ikarosy/Gated-LIF.
updated: Sun Nov 13 2022 15:41:21 GMT+0000 (UTC)
published: Tue Oct 25 2022 05:07:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト