この作業では、効率的なニューラルネットワークアーキテクチャ、条件付き計算、および早期終了の最近の進歩を単純な新しい形式で組み合わせたBasisNetを紹介します。私たちのアプローチは、入力をプレビューし、入力に依存する組み合わせ係数を生成するための軽量モデルを組み込んでいます。これは、後で、より正確なスペシャリストモデルの合成を制御して最終的な予測を行います。 2段階のモデル合成戦略は、任意のネットワークアーキテクチャに適用でき、両方の段階が共同でトレーニングされます。また、このような大容量ニューラルネットワークの一般化可能性を高めるには、適切なトレーニングレシピが重要であることも示しています。 ImageNet分類ベンチマークでは、バックボーンとしてMobileNetsを使用したBasisNetは、いくつかの強力なベースラインに対する精度と効率のトレードオフで明らかな利点を示しました。具体的には、BasisNet-MobileNetV3は、わずか290Mの乗算-加算操作で80.3%のトップ1精度を達成し、精度を犠牲にすることなく、以前の最先端技術の計算コストを半分にしました。早期終了により、ImageNetで80.0%の精度を維持しながら、平均コストをさらに1億9,800万MAddに削減できます。
In this work, we present BasisNet which combines recent advancements in efficient neural network architectures, conditional computation, and early termination in a simple new form. Our approach incorporates a lightweight model to preview the input and generate input-dependent combination coefficients, which later controls the synthesis of a more accurate specialist model to make final prediction. The two-stage model synthesis strategy can be applied to any network architectures and both stages are jointly trained. We also show that proper training recipes are critical for increasing generalizability for such high capacity neural networks. On ImageNet classification benchmark, our BasisNet with MobileNets as backbone demonstrated clear advantage on accuracy-efficiency trade-off over several strong baselines. Specifically, BasisNet-MobileNetV3 obtained 80.3% top-1 accuracy with only 290M Multiply-Add operations, halving the computational cost of previous state-of-the-art without sacrificing accuracy. With early termination, the average cost can be further reduced to 198M MAdds while maintaining accuracy of 80.0% on ImageNet.