バイナリニューラルネットワーク(BNN)は、計算とメモリの優れた削減により、ますます注目を集めています。ほとんどの既存の作業は、全精度の重みとそれらの2値化の間のギャップを最小化することによって量子化エラーを減らすか、「デッドウェイト」をそのままにして、勾配の不一致を軽減する勾配近似を設計することに焦点を当てています。これにより、BNNをトレーニングするときに収束が遅くなります。この論文では、初めて、BNNのトレーニング中にほとんど更新されないウェイトのグループを指す「デッドウェイト」の影響を調査し、次に「デッドウェイト」を復活させるために修正クランプユニット(ReCU)を導入します。 "更新用。 ReCUで「自重」を復活させると、量子化誤差が小さくなることを証明します。さらに、重みの情報エントロピーも考慮に入れ、重みの標準化がBNNに役立つ理由を数学的に分析します。量子化誤差を最小化することと情報エントロピーを最大化することの間の固有の矛盾を示し、次に「自重」の範囲を識別するための適応指数スケジューラーを提案します。 「自重」を考慮することにより、私たちの方法は、最近の方法と比較して、より高速なBNNトレーニングだけでなく、CIFAR-10およびImageNetでの最先端のパフォーマンスも提供します。コードはhttps://github.com/z-hXu/ReCUで入手できます。
Binary neural networks (BNNs) have received increasing attention due to their superior reductions of computation and memory. Most existing works focus on either lessening the quantization error by minimizing the gap between the full-precision weights and their binarization or designing a gradient approximation to mitigate the gradient mismatch, while leaving the "dead weights" untouched. This leads to slow convergence when training BNNs. In this paper, for the first time, we explore the influence of "dead weights" which refer to a group of weights that are barely updated during the training of BNNs, and then introduce rectified clamp unit (ReCU) to revive the "dead weights" for updating. We prove that reviving the "dead weights" by ReCU can result in a smaller quantization error. Besides, we also take into account the information entropy of the weights, and then mathematically analyze why the weight standardization can benefit BNNs. We demonstrate the inherent contradiction between minimizing the quantization error and maximizing the information entropy, and then propose an adaptive exponential scheduler to identify the range of the "dead weights". By considering the "dead weights", our method offers not only faster BNN training, but also state-of-the-art performance on CIFAR-10 and ImageNet, compared with recent methods. Code can be available at https://github.com/z-hXu/ReCU.