arXiv reaDer
少しのエネルギーが大いに役立つ:畳み込みニューラルネットワークからスパイキングニューラルネットワークへのエネルギー効率の高い正確な変換
A Little Energy Goes a Long Way: Energy-Efficient, Accurate Conversion from Convolutional Neural Networks to Spiking Neural Networks
スパイキングニューラルネットワーク(SNN)は、時空間データ、つまり実世界の感覚データを処理する固有の機能を提供しますが、高精度モデルのトレーニングが難しいという問題があります。 SNNに関する研究の主要なスレッドは、事前にトレーニングされた畳み込みニューラルネットワーク(CNN)を同じ構造のSNNに変換することです。最先端の変換方法は、精度の限界に近づいています。つまり、元のCNNに対するSNNの精度損失はほぼゼロです。ただし、これが可能になるのは、入力を処理するためにかなり多くのエネルギーが消費される場合のみです。この論文では、この「精度のためのエネルギー」の傾向は必要ではないと主張します。わずかなエネルギーで、ほぼゼロの精度損失を達成するのに大いに役立ちます。具体的には、適度に短いスパイク列(CIFAR10画像の場合は256タイムステップなど)を使用してほぼゼロの精度損失を実現できる、新しいCNNからSNNへの変換方法を提案します。明示的電流制御(ECC)と呼ばれる新しい変換方法には、入力を処理するときにSNNを流れる電流を明示的に制御するために、3つの手法(電流正規化、残余除去のしきい値処理、およびバッチ正規化の整合性維持)が含まれます。私たちはECCをSpKerasというニックネームのツールに実装します。このツールはKerasCNNモデルを便利にインポートしてSNNに変換できます。このツールを使用して、VGG16やCIFAR10やCIFAR100などのさまざまなデータセットを使用して広範な実験を行い、最先端の変換方法と比較します。結果は、ECCがエネルギー消費と精度損失を同時に最適化できる有望な方法であることを示しています。
Spiking neural networks (SNNs) offer an inherent ability to process spatial-temporal data, or in other words, realworld sensory data, but suffer from the difficulty of training high accuracy models. A major thread of research on SNNs is on converting a pre-trained convolutional neural network (CNN) to an SNN of the same structure. State-of-the-art conversion methods are approaching the accuracy limit, i.e., the near-zero accuracy loss of SNN against the original CNN. However, we note that this is made possible only when significantly more energy is consumed to process an input. In this paper, we argue that this trend of ''energy for accuracy'' is not necessary -- a little energy can go a long way to achieve the near-zero accuracy loss. Specifically, we propose a novel CNN-to-SNN conversion method that is able to use a reasonably short spike train (e.g., 256 timesteps for CIFAR10 images) to achieve the near-zero accuracy loss. The new conversion method, named as explicit current control (ECC), contains three techniques (current normalisation, thresholding for residual elimination, and consistency maintenance for batch-normalisation), in order to explicitly control the currents flowing through the SNN when processing inputs. We implement ECC into a tool nicknamed SpKeras, which can conveniently import Keras CNN models and convert them into SNNs. We conduct an extensive set of experiments with the tool -- working with VGG16 and various datasets such as CIFAR10 and CIFAR100 -- and compare with state-of-the-art conversion methods. Results show that ECC is a promising method that can optimise over energy consumption and accuracy loss simultaneously.
updated: Mon Mar 01 2021 12:15:29 GMT+0000 (UTC)
published: Mon Mar 01 2021 12:15:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト