arXiv reaDer
Bi-Real Net: Binarizing Deep Network Towards Real-Network Performance
  この論文では、重みと活性化の両方がバイナリである1ビット畳み込みニューラルネットワーク(CNN)を研究します。効率的ではありますが、表現能力の欠如とトレーニングの難しさにより、1ビットCNNが実際のネットワークと同様にパフォーマンスを発揮できなくなります。これらの2つの課題に取り組むための新しいトレーニングアルゴリズムを備えたBi-Realネットを提案します。表現機能を強化するために、パラメーターなしのショートカットを介して各1ビット畳み込みによって生成された実数値のアクティベーションを伝播します。トレーニングの難しさに対処するために、符号関数の導関数へのより厳密な近似、重み更新のためのマグニチュードを意識した勾配、より良い初期化方法、およびディープネットワークをトレーニングするための2ステップスキームを使用するトレーニングアルゴリズムを提案します。 ImageNetの実験では、提案されたトレーニングアルゴリズムを使用した18層のBi-Realネットが56.4%のトップ1分類精度を達成し、これは最先端の(たとえばXNOR-Net)よりも10%高いメモリの節約と計算コストの削減。 Bi-Realネットは、152層の超深層ネットワークに1ビットCNNを初めてスケールアップし、ImageNetで64.5%のトップ1精度を達成します。 50層のBi-Realネットは、0.3%の精度のギャップで、深度推定タスクで実数値のネットワークに匹敵するパフォーマンスを示します。
In this paper, we study 1-bit convolutional neural networks (CNNs), of which both the weights and activations are binary. While efficient, the lacking of representational capability and the training difficulty impede 1-bit CNNs from performing as well as real-valued networks. We propose Bi-Real net with a novel training algorithm to tackle these two challenges. To enhance the representational capability, we propagate the real-valued activations generated by each 1-bit convolution via a parameter-free shortcut. To address the training difficulty, we propose a training algorithm using a tighter approximation to the derivative of the sign function, a magnitude-aware gradient for weight updating, a better initialization method, and a two-step scheme for training a deep network. Experiments on ImageNet show that an 18-layer Bi-Real net with the proposed training algorithm achieves 56.4% top-1 classification accuracy, which is 10% higher than the state-of-the-arts (e.g., XNOR-Net) with greater memory saving and lower computational cost. Bi-Real net is also the first to scale up 1-bit CNNs to an ultra-deep network with 152 layers, and achieves 64.5% top-1 accuracy on ImageNet. A 50-layer Bi-Real net shows comparable performance to a real-valued network on the depth estimation task with only a 0.3% accuracy gap.
updated: Wed Sep 04 2019 03:23:31 GMT+0000 (UTC)
published: Sun Nov 04 2018 08:15:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト