三元ニューラルネットワーク(TNN)は、完全精度のものよりも推論が桁違いに高速であり、電力効率が高いため、多くの注目を集めています。ただし、3つの量子化レベルのみを利用して3値表現をエンコードするには、2ビットが必要です。その結果、従来のTNNは、標準の2ビットモデルと比較して同様のメモリ消費と速度を持ちますが、表現能力は劣ります。さらに、TNNと完全精度ネットワークの間には依然として大きな精度のギャップがあり、実際のアプリケーションへの展開を妨げています。これらの2つの課題に取り組むために、この作業では、最初に、いくつかの穏やかな制約の下で、三元内積の計算の複雑さを2分の1に減らすことができることを示します。次に、パフォーマンスのギャップを緩和するために、実装を入念に設計します。従属三項量子化アルゴリズム。提案されたフレームワークは、高速で正確な3値ニューラルネットワーク(FATNN)と呼ばれます。画像分類に関する実験は、私たちのFATNNが最先端の精度を大幅に上回っていることを示しています。さらに重要なことに、さまざまな精度と比較した高速化評価がいくつかのプラットフォームで分析され、これはさらなる研究の強力なベンチマークとして機能します。
Ternary Neural Networks (TNNs) have received much attention due to being potentially orders of magnitude faster in inference, as well as more power efficient, than full-precision counterparts. However, 2 bits are required to encode the ternary representation with only 3 quantization levels leveraged. As a result, conventional TNNs have similar memory consumption and speed compared with the standard 2-bit models, but have worse representational capability. Moreover, there is still a significant gap in accuracy between TNNs and full-precision networks, hampering their deployment to real applications. To tackle these two challenges, in this work, we first show that, under some mild constraints, computational complexity of the ternary inner product can be reduced by a factor of 2. Second, to mitigate the performance gap, we elaborately design an implementation-dependent ternary quantization algorithm. The proposed framework is termed Fast and Accurate Ternary Neural Networks (FATNN). Experiments on image classification demonstrate that our FATNN surpasses the state-of-the-arts by a significant margin in accuracy. More importantly, speedup evaluation compared with various precisions is analyzed on several platforms, which serves as a strong benchmark for further research.