arXiv reaDer
Regularized Binary Network Training
 バイナリニューラルネットワーク(BNN)と浮動小数点ディープニューラルネットワーク(DNN)の間には、大きなパフォーマンスギャップがあります。バイナリ値の周りの重みのトレーニングを促進する新しい正則化関数を導入することにより、バイナリトレーニング法を改善することを提案します。さらに、正規化関数にトレーニング可能なスケーリング係数を追加します。さらに、後方計算における符号活性化関数の導関数の近似が改善されました。これらの変更は、バイナリトレーニングフレームワークに簡単に実装できる線形演算に基づいています。 ImageNetの実験結果は、このメソッドが従来のBNNメソッドおよびXNOR-netよりも優れていることを示しています。
There is a significant performance gap between Binary Neural Networks (BNNs) and floating point Deep Neural Networks (DNNs). We propose to improve the binary training method, by introducing a new regularization function that encourages training weights around binary values. In addition, we add trainable scaling factors to our regularization functions. Additionally, an improved approximation of the derivative of the sign activation function in the backward computation. These modifications are based on linear operations that are easily implementable into the binary training framework. Experimental results on ImageNet shows our method outperforms the traditional BNN method and XNOR-net.
updated: Tue Apr 21 2020 04:57:46 GMT+0000 (UTC)
published: Mon Dec 31 2018 14:07:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト