arXiv reaDer
Balanced Binary Neural Networks with Gated Residual
 バイナリニューラルネットワークは、近年多くの注目を集めています。ただし、主にバイアス2値化に起因する情報損失のため、ネットワークの精度を維持する方法は依然として重要な問題のままです。この論文では、フォワードプロセスで伝播された情報を維持し、Gated Residual(略してBBG)を備えたBalanced Binary Neural Networksを提案します。最初に、バイナリウェイトの情報エントロピーを最大化するために、ウェイトバランスされた2値化が導入されます。したがって、情報バイナリウェイトは、アクティベーションに含まれるより多くの情報をキャプチャできます。第二に、バイナリアクティベーションの場合、ゲート処理された残差がさらに追加され、わずかなオーバーヘッドで転送プロセス中の情報損失が補償されます。どちらの手法も、分類や検出などのさまざまなタスクのさまざまなネットワークアーキテクチャをサポートする汎用ネットワークモジュールとしてラップできます。 CIFAR-10 / 100およびImageNetでの画像分類タスク、およびPascal VOCでの検出タスクでBBGを評価します。実験結果は、BGG-NetがVGG、ResNet、SSDなどのさまざまなネットワークアーキテクチャで非常に優れたパフォーマンスを発揮し、メモリ消費、推論速度、精度の点で最先端の方法よりも優れたパフォーマンスを発揮することを示しています。
Binary neural networks have attracted numerous attention in recent years. However, mainly due to the information loss stemming from the biased binarization, how to preserve the accuracy of networks still remains a critical issue. In this paper, we attempt to maintain the information propagated in the forward process and propose a Balanced Binary Neural Networks with Gated Residual (BBG for short). First, a weight balanced binarization is introduced to maximize information entropy of binary weights, and thus the informative binary weights can capture more information contained in the activations. Second, for binary activations, a gated residual is further appended to compensate their information loss during the forward process, with a slight overhead. Both techniques can be wrapped as a generic network module that supports various network architectures for different tasks including classification and detection. We evaluate our BBG on image classification tasks over CIFAR-10/100 and ImageNet and on detection task over Pascal VOC. The experimental results show that BBG-Net performs remarkably well across various network architectures such as VGG, ResNet and SSD with the superior performance over state-of-the-art methods in terms of memory consumption, inference speed and accuracy.
updated: Tue Feb 11 2020 10:51:56 GMT+0000 (UTC)
published: Thu Sep 26 2019 14:03:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト