arXiv reaDer
ニューロモルフィック ハードウェアでの機械学習ワークロードのエネルギー効率の高い展開
Energy-Efficient Deployment of Machine Learning Workloads on Neuromorphic Hardware
テクノロジー業界が自然言語処理、パス プランニング、画像分類などのタスクを小規模なエッジ コンピューティング デバイスに実装する方向に進んでいるため、アルゴリズムとハードウェア アクセラレータのより効率的な実装に対する需要が重要な研究分野になっています。近年、特にディープ ニューラル ネットワーク (DNN) が消費する電力と面積の削減に重点を置いたエッジ ディープ ラーニング ハードウェア アクセラレータがいくつかリリースされています。一方、離散時系列データで動作するスパイキング ニューラル ネットワーク (SNN) は、特殊なニューロモーフィック イベントベース/非同期ハードウェアにデプロイされた場合、前述のエッジ DNN アクセラレータよりも大幅な電力削減を達成することが示されています。ニューロモルフィック ハードウェアは、エッジでのディープ ラーニング タスクを高速化する大きな可能性を示していますが、アルゴリズムとハードウェアの現在のスペースは限られており、まだかなり初期の開発段階にあります。したがって、事前トレーニング済みの DNN を SNN に変換することを目的とした、多くのハイブリッド アプローチが提案されています。この作業では、事前トレーニング済みの DNN を SNN に変換するための一般的なガイドを提供すると同時に、変換された SNN のニューロモーフィック ハードウェアへの展開をレイテンシ、電力、およびエネルギーに関して改善するための手法も提示します。私たちの実験結果は、Intel Neural Compute Stick 2 と比較すると、Intel のニューロモーフィック プロセッサ Loihi は、SNN 改善技術を使用することにより、テストされた画像分類タスクで最大 27 分の 1 の消費電力と 5 分の 1 のエネルギーを消費することを示しています。
As the technology industry is moving towards implementing tasks such as natural language processing, path planning, image classification, and more on smaller edge computing devices, the demand for more efficient implementations of algorithms and hardware accelerators has become a significant area of research. In recent years, several edge deep learning hardware accelerators have been released that specifically focus on reducing the power and area consumed by deep neural networks (DNNs). On the other hand, spiking neural networks (SNNs) which operate on discrete time-series data, have been shown to achieve substantial power reductions over even the aforementioned edge DNN accelerators when deployed on specialized neuromorphic event-based/asynchronous hardware. While neuromorphic hardware has demonstrated great potential for accelerating deep learning tasks at the edge, the current space of algorithms and hardware is limited and still in rather early development. Thus, many hybrid approaches have been proposed which aim to convert pre-trained DNNs into SNNs. In this work, we provide a general guide to converting pre-trained DNNs into SNNs while also presenting techniques to improve the deployment of converted SNNs on neuromorphic hardware with respect to latency, power, and energy. Our experimental results show that when compared against the Intel Neural Compute Stick 2, Intel's neuromorphic processor, Loihi, consumes up to 27x less power and 5x less energy in the tested image classification tasks by using our SNN improvement techniques.
updated: Tue Nov 22 2022 20:02:15 GMT+0000 (UTC)
published: Mon Oct 10 2022 20:27:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト