arXiv reaDer
Accurate and Compact Convolutional Neural Networks with Trained Binarization
  コンボリューショナルニューラルネットワーク(CNN)は現在、さまざまなコンピュータービジョンアプリケーションで広く使用されていますが、パラメーターの保存と計算に膨大なリソースを必要とするため、モバイルデバイスや組み込みデバイスへの展開は困難です。最近、重みとアクティベーションの両方を1つの単一ビットで量子化することにより、この問題を緩和するために、バイナリ畳み込みニューラルネットワークが検討されています。ただし、完全な精度のモデルと比較すると、顕著な精度の低下が存在する場合があります。この論文では、より正確なコンパクトなバイナリCNNに向けた改善されたトレーニングアプローチを提案します。値の範囲を拡大するために、重みとアクティベーションの両方のトレーニング可能なスケーリング係数が導入されています。これらのスケーリング係数は、バックプロパゲーションを介して他のパラメーターと一緒にトレーニングされます。さらに、不連続な2値化関数の微分の厳密な近似と、重みスケーリング係数に作用する$ L_2 $正則化を含む特定のトレーニングアルゴリズムが開発されています。これらの改善により、バイナリCNNはVGG-Smallネットワークを備えたCIFAR-10で92.3%の精度を達成します。 ImageNetでは、AlexNetで46.1%のトップ1精度が得られ、Resnet-18で54.2%の精度が以前の作品を上回ります。
Although convolutional neural networks (CNNs) are now widely used in various computer vision applications, its huge resource demanding on parameter storage and computation makes the deployment on mobile and embedded devices difficult. Recently, binary convolutional neural networks are explored to help alleviate this issue by quantizing both weights and activations with only 1 single bit. However, there may exist a noticeable accuracy degradation when compared with full-precision models. In this paper, we propose an improved training approach towards compact binary CNNs with higher accuracy. Trainable scaling factors for both weights and activations are introduced to increase the value range. These scaling factors will be trained jointly with other parameters via backpropagation. Besides, a specific training algorithm is developed including tight approximation for derivative of discontinuous binarization function and $L_2$ regularization acting on weight scaling factors. With these improvements, the binary CNN achieves 92.3% accuracy on CIFAR-10 with VGG-Small network. On ImageNet, our method also obtains 46.1% top-1 accuracy with AlexNet and 54.2% with Resnet-18 surpassing previous works.
updated: Wed Sep 25 2019 09:29:50 GMT+0000 (UTC)
published: Wed Sep 25 2019 09:29:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト