arXiv reaDer
Thanks for Nothing: Predicting Zero-Valued Activations with Lightweight Convolutional Neural Networks
たたみ込みニューラルネットワーク(CNN)は、さまざまなタスクに最先端の結果をもたらし、高い計算負荷を伴います。 CNN出力フィーチャマップ(ofms)に空間相関が存在するという観察に触発され、ofmアクティベーションが隣接するアクティベーション値に従ってゼロ値であるかどうかを動的に予測する方法を提案します。これにより、ゼロ値アクティベーションを回避し、数を減らします。たたみ込み演算の。ゼロアクティベーションプレディクター(ZAP)を軽量のCNNで実装します。これにより、オーバーヘッドは無視でき、既存のモデルに簡単に展開できます。 ZAPは、隠れ層の出力を模倣することによってトレーニングされます。これにより、ラベルのない並行トレーニングが可能になります。さらに、再トレーニングせずに、各ZAPをMAC削減のために異なる動作点のトレーディング精度に調整できます。
Convolutional neural networks (CNNs) introduce state-of-the-art results for various tasks with the price of high computational demands. Inspired by the observation that spatial correlation exists in CNN output feature maps (ofms), we propose a method to dynamically predict whether ofm activations are zero-valued or not according to their neighboring activation values, thereby avoiding zero-valued activations and reducing the number of convolution operations. We implement the zero activation predictor (ZAP) with a lightweight CNN, which imposes negligible overheads and is easy to deploy on existing models. ZAPs are trained by mimicking hidden layer ouputs; thereby, enabling a parallel and label-free training. Furthermore, without retraining, each ZAP can be tuned to a different operating point trading accuracy for MAC reduction.
updated: Mon Jul 13 2020 13:07:28 GMT+0000 (UTC)
published: Tue Sep 17 2019 07:56:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト