arXiv reaDer
Towards Learning of Filter-Level Heterogeneous Compression of Convolutional Neural Networks
  最近、ディープラーニングは、さまざまなタスクで目覚ましい成功を示している畳み込みニューラルネットワーク(CNN)による機械学習の事実上の標準となっています。ただし、CNNは通常、推論時に計算を非常に要求します。特定のハードウェアプラットフォームでこの負担を軽減する方法の1つは、重みとアクティベーションに低精度の算術表現の使用に依存する量子化です。別の一般的な方法は、各レイヤーのフィルターの数を削除することです。主流の深層学習法は、ネットワークアーキテクチャを固定したままニューラルネットワークの重みを訓練しますが、新しいニューラルアーキテクチャ検索(NAS)技術により、後者も訓練を受けやすくなります。このペーパーでは、最適な算術ビット長の割り当てとニューラルネットワークプルーニングをNASの問題として定式化し、精度を最大化しながら計算の複雑さの予算を満たす構成を検索します。 Liuらによって提案された探索空間の連続緩和に基づく微分可能な探索方法を使用します。 (arXiv:1806.09055)。グリッド検索により、異種の量子化されたネットワークが高い分散に悩まされ、検索の利点が疑問視されることを示します。枝刈りでは、同種の場合よりも改善が可能ですが、提案された方法でこれらの構成を見つけることは依然として困難です。コードはおよびで公開されています
Recently, deep learning has become a de facto standard in machine learning with convolutional neural networks (CNNs) demonstrating spectacular success on a wide variety of tasks. However, CNNs are typically very demanding computationally at inference time. One of the ways to alleviate this burden on certain hardware platforms is quantization relying on the use of low-precision arithmetic representation for the weights and the activations. Another popular method is the pruning of the number of filters in each layer. While mainstream deep learning methods train the neural networks weights while keeping the network architecture fixed, the emerging neural architecture search (NAS) techniques make the latter also amenable to training. In this paper, we formulate optimal arithmetic bit length allocation and neural network pruning as a NAS problem, searching for the configurations satisfying a computational complexity budget while maximizing the accuracy. We use a differentiable search method based on the continuous relaxation of the search space proposed by Liu et al. (arXiv:1806.09055). We show, by grid search, that heterogeneous quantized networks suffer from a high variance which renders the benefit of the search questionable. For pruning, improvement over homogeneous cases is possible, but it is still challenging to find those configurations with the proposed method. The code is publicly available at and
updated: Thu Sep 26 2019 14:45:46 GMT+0000 (UTC)
published: Mon Apr 22 2019 13:43:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト