バイナリ ニューラル ネットワークはネットワーク量子化の極端なケースであり、エッジ機械学習ソリューションの可能性があると長い間考えられてきました。ただし、完全精度の対応するものとの大きな精度のギャップにより、モバイル アプリケーションの創造的な可能性が制限されます。この作業では、バイナリ ニューラル ネットワークの可能性を再検討し、説得力はあるものの未解決の問題に焦点を当てます。ILSVRC-2012 ImageNet でバイナリ ニューラル ネットワークが重要な精度レベル (たとえば 80%) を達成するにはどうすればよいでしょうか?この目標は、3 つの補完的な観点から最適化プロセスを強化することによって達成されます。 (1) バイナリ アーキテクチャとその最適化プロセスの包括的な研究に基づいて、新しいバイナリ アーキテクチャ BNext を設計します。 (2) 非常に正確なバイナリ モデルをトレーニングしようとするときに観察される直感に反するオーバーフィッティングの問題を軽減するための新しい知識抽出手法を提案します。 (3) バイナリ ネットワークのデータ拡張パイプラインを分析し、完全精度モデルの最新の手法で最新化します。 ImageNet での評価結果は、BNext が初めてバイナリ モデルの精度境界を 80.57% に押し上げ、既存のすべてのバイナリ ネットワークを大幅に上回ることを示しています。コードとトレーニング済みモデルは次の場所で入手できます: (ブラインド URL、付録を参照)。
Binary neural networks are the extreme case of network quantization, which has long been thought of as a potential edge machine learning solution. However, the significant accuracy gap to the full-precision counterparts restricts their creative potential for mobile applications. In this work, we revisit the potential of binary neural networks and focus on a compelling but unanswered problem: how can a binary neural network achieve the crucial accuracy level (e.g., 80%) on ILSVRC-2012 ImageNet? We achieve this goal by enhancing the optimization process from three complementary perspectives: (1) We design a novel binary architecture BNext based on a comprehensive study of binary architectures and their optimization process. (2) We propose a novel knowledge-distillation technique to alleviate the counter-intuitive overfitting problem observed when attempting to train extremely accurate binary models. (3) We analyze the data augmentation pipeline for binary networks and modernize it with up-to-date techniques from full-precision models. The evaluation results on ImageNet show that BNext, for the first time, pushes the binary model accuracy boundary to 80.57% and significantly outperforms all the existing binary networks. Code and trained models are available at: (blind URL, see appendix).