arXiv reaDer
Structured Binary Neural Networks for Image Recognition
二値化された重みとアクティベーションの両方を使用して畳み込みニューラルネットワーク(CNN)をトレーニングする方法を提案し、限られた電力容量と計算リソースを持つモバイルデバイスに特に適した量子化モデルを導きます。 CNNの量子化に関するこれまでの研究では、離散値のセットを使用して浮動小数点情報を近似しようとすることがよくあります。これを値近似と呼び、通常は全精度ネットワークと同じアーキテクチャを想定しています。ここでは、量子化の新しい「構造近似」ビューを取り上げます。低ビットネットワーク用に設計されたさまざまなアーキテクチャの方が、優れたパフォーマンスを実現するのに適している可能性が非常に高くなります。特に、ネットワークをグループに分割するグループネットと呼ばれる「ネットワーク分解」戦略を提案します。したがって、各完全精度グループは、同種のバイナリブランチのセットを集約することによって効果的に再構築できます。さらに、表現能力を向上させるために、グループ間の効果的なつながりを学びます。さらに、提案されたGroup-Netは、他のタスクに対して強力な一般化を示しています。たとえば、バイナリ構造に豊富なコンテキストを埋め込むことにより、正確なセマンティックセグメンテーションのためにGroup-Netを拡張します。さらに、初めて、バイナリニューラルネットワークをオブジェクト検出に適用します。分類、セマンティックセグメンテーション、およびオブジェクト検出タスクの両方での実験は、文献のさまざまな量子化ネットワークよりも提案された方法の優れたパフォーマンスを示しています。私たちの方法は、精度と計算効率の点で、これまでの最高のバイナリニューラルネットワークよりも優れています。
We propose methods to train convolutional neural networks (CNNs) with both binarized weights and activations, leading to quantized models that are specifically friendly to mobile devices with limited power capacity and computation resources. Previous works on quantizing CNNs often seek to approximate the floating-point information using a set of discrete values, which we call value approximation, typically assuming the same architecture as the full-precision networks. Here we take a novel "structure approximation" view of quantization -- it is very likely that different architectures designed for low-bit networks may be better for achieving good performance. In particular, we propose a "network decomposition" strategy, termed Group-Net, in which we divide the network into groups. Thus, each full-precision group can be effectively reconstructed by aggregating a set of homogeneous binary branches. In addition, we learn effective connections among groups to improve the representation capability. Moreover, the proposed Group-Net shows strong generalization to other tasks. For instance, we extend Group-Net for accurate semantic segmentation by embedding rich context into the binary structure. Furthermore, for the first time, we apply binary neural networks to object detection. Experiments on both classification, semantic segmentation and object detection tasks demonstrate the superior performance of the proposed methods over various quantized networks in the literature. Our methods outperform the previous best binary neural networks in terms of accuracy and computation efficiency.
updated: Wed Apr 07 2021 07:52:44 GMT+0000 (UTC)
published: Sun Sep 22 2019 03:45:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト