arXiv reaDer
Towards Accurate and High-Speed Spiking Neuromorphic Systems with Data Quantization-Aware Deep Networks
  ディープニューラルネットワーク(DNN)は、認知アプリケーションで大成功を収め、今日の人工知能を大きく前進させました。 DNNを実行する際の最大の課題は、非常にデータ量の多い計算です。このような計算量の多い実行で従来のコンピューティングプラットフォームが使用される場合、速度とエネルギーの計算効率が制約されます。スパイキングニューロモルフィックコンピューティング(SNC)は、計算と通信の効率が高いことから、ディープネットワーク実装で広く調査されています。ただし、SNNにDNNを展開するときは、DNNの重みと信号を量子化する必要があり、これにより許容できない精度の損失が生じます。ただし、システムの精度は、深いネットワーク展開でデータを直接量子化することにより制限されます。これまでの研究では主に重みの離散化に焦点が当てられていましたが、層間信号は主に無視されていました。この作業では、正確な精度を保持しながら、固定整数の層間信号と固定小数点の重みでDNNを表すことを提案します。配備例として、提案されたDNNをmemristorベースのSNCシステムに実装します。 4ビットのデータ表現では、MNIST(CIFAR-10)で精度の損失を0.02%(2.3%)以内に制御できることがわかりました。 8ビットの動的な固定小数点DNNと比較して、当社のシステムは9.8倍以上の高速化、89.1%の省エネ、30%のエリア節約を実現できます。
Deep Neural Networks (DNNs) have gained immense success in cognitive applications and greatly pushed today's artificial intelligence forward. The biggest challenge in executing DNNs is their extremely data-extensive computations. The computing efficiency in speed and energy is constrained when traditional computing platforms are employed in such computational hungry executions. Spiking neuromorphic computing (SNC) has been widely investigated in deep networks implementation own to their high efficiency in computation and communication. However, weights and signals of DNNs are required to be quantized when deploying the DNNs on the SNC, which results in unacceptable accuracy loss. %However, the system accuracy is limited by quantizing data directly in deep networks deployment. Previous works mainly focus on weights discretize while inter-layer signals are mainly neglected. In this work, we propose to represent DNNs with fixed integer inter-layer signals and fixed-point weights while holding good accuracy. We implement the proposed DNNs on the memristor-based SNC system as a deployment example. With 4-bit data representation, our results show that the accuracy loss can be controlled within 0.02% (2.3%) on MNIST (CIFAR-10). Compared with the 8-bit dynamic fixed-point DNNs, our system can achieve more than 9.8x speedup, 89.1% energy saving, and 30% area saving.
updated: Sun Sep 08 2019 08:47:23 GMT+0000 (UTC)
published: Tue May 08 2018 14:30:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト