バイナリニューラルネットワーク(BNN)は、元の全精度の重みとアクティブ化を符号関数を使用して1ビットに表します。従来の符号関数の勾配はどこでもほぼゼロであり、バックプロパゲーションには使用できないため、近似勾配を使用して最適化の難しさを軽減するためのいくつかの試みが提案されています。ただし、これらの近似は、事実上の勾配の主な方向を損ないます。この目的のために、BNNをトレーニングするための正弦関数の組み合わせ、つまり周波数領域近似(FDA)を使用して、フーリエ周波数領域での符号関数の勾配を推定することを提案します。提案されたアプローチは、全体のエネルギーの大部分を占める元の符号関数の低周波数情報に影響を与えず、高周波数係数は、膨大な計算オーバーヘッドを回避するために無視されます。さらに、近似誤差を補正するために、トレーニングフェーズにノイズ適応モジュールを埋め込みます。いくつかのベンチマークデータセットとニューラルアーキテクチャでの実験は、私たちの方法を使用して学習したバイナリネットワークが最先端の精度を達成していることを示しています。コードはhttps://gitee.com/mindspore/models/tree/master/research/cv/FDA-BNNで入手できます。
Binary neural networks (BNNs) represent original full-precision weights and activations into 1-bit with sign function. Since the gradient of the conventional sign function is almost zero everywhere which cannot be used for back-propagation, several attempts have been proposed to alleviate the optimization difficulty by using approximate gradient. However, those approximations corrupt the main direction of factual gradient. To this end, we propose to estimate the gradient of sign function in the Fourier frequency domain using the combination of sine functions for training BNNs, namely frequency domain approximation (FDA). The proposed approach does not affect the low-frequency information of the original sign function which occupies most of the overall energy, and high-frequency coefficients will be ignored to avoid the huge computational overhead. In addition, we embed a noise adaptation module into the training phase to compensate the approximation error. The experiments on several benchmark datasets and neural architectures illustrate that the binary network learned using our method achieves the state-of-the-art accuracy. Code will be available at https://gitee.com/mindspore/models/tree/master/research/cv/FDA-BNN.