arXiv reaDer
Ternary Weight Networks
+1、0、および -1 に制約された重みを使用して、メモリおよび計算効率の高い 3 値重みネットワーク (TWN) を提示します。完全 (float または double) 精度の重みと 3 値の重みの間のユークリッド距離は、スケーリング ファクターと共に、トレーニング段階で最小化されます。さらに、しきい値ベースの 3 項関数が最適化され、高速かつ簡単に計算できる近似解が得られます。 TWN は、バイナリ精度の対応物よりも優れた表現力を示しています。一方、TWN は最大 16 倍のモデル圧縮率を達成し、float32 精度の対応物と比較して必要な乗算が少なくて済みます。 MNIST、CIFAR-10、および ImageNet データセットに関する広範な実験では、TWN が Binary-Weight-Networks (BWN) よりもはるかに優れた結果を達成し、MNIST および CIFAR-10 での分類パフォーマンスが完全な精度のネットワークに非常に近いことが示されています。また、オブジェクト検出タスクの方法を検証し、TWN が PASCAL VOC データセットで 10% 以上の mAP で BWN を大幅に上回ることを示します。ソース コードの pytorch バージョンは、 で入手できます。
We present a memory and computation efficient ternary weight networks (TWNs) - with weights constrained to +1, 0 and -1. The Euclidian distance between full (float or double) precision weights and the ternary weights along with a scaling factor is minimized in training stage. Besides, a threshold-based ternary function is optimized to get an approximated solution which can be fast and easily computed. TWNs have shown better expressive abilities than binary precision counterparts. Meanwhile, TWNs achieve up to 16× model compression rate and need fewer multiplications compared with the float32 precision counterparts. Extensive experiments on MNIST, CIFAR-10, and ImageNet datasets show that the TWNs achieve much better result than the Binary-Weight-Networks (BWNs) and the classification performance on MNIST and CIFAR-10 is very close to the full precision networks. We also verify our method on object detection task and show that TWNs significantly outperforms BWN by more than 10% mAP on PASCAL VOC dataset. The pytorch version of source code is available at:
updated: Sun Nov 20 2022 14:21:55 GMT+0000 (UTC)
published: Mon May 16 2016 10:21:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト