arXiv reaDer
RxNN: A Framework for Evaluating Deep Neural Networks on Resistive Crossbars
 不揮発性メモリデバイスを使用して設計された抵抗クロスバーは、DNNの主要な計算カーネルであるベクトル行列乗算(VMM)をコンパクトかつ効率的に実現できるため、ディープニューラルネットワーク(DNN)ハードウェアの有望なビルディングブロックとして登場しました。ただし、抵抗クロスバーの主な課題は、相互接続の寄生、周辺回路、スニークパス、プロセスのばらつきなど、デバイスレベルと回路レベルのさまざまな非理想性に悩まされていることです。これらの非理想性はVMMでエラーにつながり、最終的にDNNの精度を低下させる可能性があります。したがって、大規模なDNNの精度に対するクロスバーの非理想性の影響を調査することが重要です。ただし、既存のデバイスおよび回路モデルはアプリケーションレベルの評価に使用するには遅すぎるため、これは困難です。 RxNNは、抵抗クロスバーシステムで大規模なDNNを評価するための高速で正確なシミュレーションフレームワークです。 RxNNは、各DNNレイヤーに含まれる計算をクロスバー操作に分割およびマッピングし、クロスバーの非理想性が原因で発生するエラーを4〜5桁高速で正確にキャプチャする高速クロスバーモデル(FCM)を使用してそれらを評価します。回路シミュレーション。 FCMは、3つのステージを使用してクロスバーベースのVMM動作をモデル化します。入力および出力周辺回路(DACおよびADC)の非線形モデルと、コアクロスバーアレイの同等の非理想コンダクタンスマトリックスです。 Caffe機械学習フレームワークを拡張してRxNNを実装し、これを使用してImageNetチャレンジ用に開発された6つの大規模DNNのスイートを評価します。私たちの実験は、抵抗性クロスバーの非理想性がこれらの大規模DNNの大幅な精度低下(9.6%-32%)につながる可能性があることを明らかにしています。私たちの知る限りでは、この作業は、抵抗クロスバーベースのハードウェアでの大規模DNNの精度の最初の定量的評価です。
Resistive crossbars designed with non-volatile memory devices have emerged as promising building blocks for Deep Neural Network (DNN) hardware, due to their ability to compactly and efficiently realize vector-matrix multiplication (VMM), the dominant computational kernel in DNNs. However, a key challenge with resistive crossbars is that they suffer from a range of device and circuit level non-idealities such as interconnect parasitics, peripheral circuits, sneak paths, and process variations. These non-idealities can lead to errors in VMMs, eventually degrading the DNN's accuracy. It is therefore critical to study the impact of crossbar non-idealities on the accuracy of large-scale DNNs. However, this is challenging because existing device and circuit models are too slow to use in application-level evaluations. We present RxNN, a fast and accurate simulation framework to evaluate large-scale DNNs on resistive crossbar systems. RxNN splits and maps the computations involved in each DNN layer into crossbar operations, and evaluates them using a Fast Crossbar Model (FCM) that accurately captures the errors arising due to crossbar non-idealities while being four-to-five orders of magnitude faster than circuit simulation. FCM models a crossbar-based VMM operation using three stages - non-linear models for the input and output peripheral circuits (DACs and ADCs), and an equivalent non-ideal conductance matrix for the core crossbar array. We implement RxNN by extending the Caffe machine learning framework and use it to evaluate a suite of six large-scale DNNs developed for the ImageNet Challenge. Our experiments reveal that resistive crossbar non-idealities can lead to significant accuracy degradations (9.6%-32%) for these large-scale DNNs. To the best of our knowledge, this work is the first quantitative evaluation of the accuracy of large-scale DNNs on resistive crossbar based hardware.
updated: Tue Jun 02 2020 03:33:11 GMT+0000 (UTC)
published: Fri Aug 31 2018 22:22:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト