arXiv reaDer
SpikeSim: スパイキング ニューラル ネットワークをベンチマークするためのエンドツーエンドの Compute-in-Memory ハードウェア評価ツール
SpikeSim: An end-to-end Compute-in-Memory Hardware Evaluation Tool for Benchmarking Spiking Neural Networks
SNN は、エネルギー効率の高いマシン インテリジェンスに向けた活発な研究領域です。従来の ANN と比較して、SNN は一時的なスパイク データと、データ処理に Leaky-Integrate Fire/Integrate Fire (LIF/IF) などの生物学的に妥当なニューロン活性化関数を使用します。ただし、SNN ではかなりの内積演算が発生し、標準のフォン ノイマン コンピューティング プラットフォームではメモリと計算のオーバーヘッドが高くなります。今日、インメモリ コンピューティング (IMC) アーキテクチャは、フォン ノイマン アーキテクチャで一般的な「メモリ ウォールのボトルネック」を軽減するために提案されています。最近の研究では IMC ベースの SNN ハードウェア アクセラレータが提案されていますが、次の点は見過ごされてきました。 LIF/IF やデータ通信モジュールなどの必須の SNN 固有のコンポーネント。この目的のために、IMC マッピングされた SNN の現実的なパフォーマンス、エネルギー、レイテンシ、および面積評価を実行できるツールである SpikeSim を提案します。 SpikeSim は、SNN をマッピングするための SpikeFlow と呼ばれる実用的なモノリシック IMC アーキテクチャで構成されています。さらに、非理想性計算エンジン (NICE) およびエネルギー レイテンシ エリア (ELA) エンジンは、SpikeFlow にマッピングされた SNN のハードウェアに現実的な評価を実行します。 65nm CMOS の実装と、CIFAR10、CIFAR100、および TinyImagenet データセットでの実験に基づいて、LIF/IF 神経細胞モジュールが大きな面積寄与 (ハードウェア総面積の >11%) を持っていることがわかりました。ニューロン モジュールの領域と全体的なエネルギー遅延積の値をそれぞれ 1.24 倍と 10 倍に削減する SNN トポロジー変更を提案します。さらに、この作業では、IMC で実装された ANN と SNN の全体的な比較を行い、4 ビット ANN と比較して SNN のスループットとエネルギー効率を高めるには、タイム ステップ数を減らすことが重要であると結論付けています。
SNNs are an active research domain towards energy efficient machine intelligence. Compared to conventional ANNs, SNNs use temporal spike data and bio-plausible neuronal activation functions such as Leaky-Integrate Fire/Integrate Fire (LIF/IF) for data processing. However, SNNs incur significant dot-product operations causing high memory and computation overhead in standard von-Neumann computing platforms. Today, In-Memory Computing (IMC) architectures have been proposed to alleviate the "memory-wall bottleneck" prevalent in von-Neumann architectures. Although recent works have proposed IMC-based SNN hardware accelerators, the following have been overlooked- 1) the adverse effects of crossbar non-ideality on SNN performance due to repeated analog dot-product operations over multiple time-steps, 2) hardware overheads of essential SNN-specific components such as the LIF/IF and data communication modules. To this end, we propose SpikeSim, a tool that can perform realistic performance, energy, latency and area evaluation of IMC-mapped SNNs. SpikeSim consists of a practical monolithic IMC architecture called SpikeFlow for mapping SNNs. Additionally, the non-ideality computation engine (NICE) and energy-latency-area (ELA) engine performs hardware-realistic evaluation of SpikeFlow-mapped SNNs. Based on 65nm CMOS implementation and experiments on CIFAR10, CIFAR100 and TinyImagenet datasets, we find that the LIF/IF neuronal module has significant area contribution (>11% of the total hardware area). We propose SNN topological modifications leading to 1.24x and 10x reduction in the neuronal module's area and the overall energy-delay-product value, respectively. Furthermore, in this work, we perform a holistic comparison between IMC implemented ANN and SNNs and conclude that lower number of time-steps are the key to achieve higher throughput and energy-efficiency for SNNs compared to 4-bit ANNs.
updated: Mon Oct 24 2022 01:07:17 GMT+0000 (UTC)
published: Mon Oct 24 2022 01:07:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト