本論文では、いくつかの最近の訓練手順、特に訓練画像とテスト画像の不一致を補正する手順を用いて、EfficientNet画像分類器の性能を広範囲に分析する。その結果、FixEfficientNetと呼ばれるネットワークは、同じパラメータ数の初期アーキテクチャを大幅に上回る性能を示した。例えば、追加のトレーニングデータなしで学習したFixEfficientNet-B0は、5.3Mのパラメータを持つImageNetで79.3%のトップ1精度を達成した。これは、3億個のラベルなし画像で学習したNoisy studentのEfficientNet-B0と比較して、+0.5%の絶対的な改善である。さらにFixResを用いて最適化したEfficientNet-L2は、3,000万枚のラベルなし画像で弱い教師ありで事前に学習され、88.5%のトップ1精度(トップ5: 98.7%)を達成し、シングルクロップを用いたImageNetの新たな最先端を確立した。これらの改善は、通常のImagenetで採用されているプロトコルよりもクリーンなプロトコルで徹底的に評価され、特に、オーバーフィッティングの少ないImageNet-v2とImageNetリアルラベルを用いた実験的な設定においても、我々の改善が維持されていることを示している。また、どちらの場合においても、新たな最先端を確立した。
This paper provides an extensive analysis of the performance of the EfficientNet image classifiers with several recent training procedures, in particular one that corrects the discrepancy between train and test images. The resulting network, called FixEfficientNet, significantly outperforms the initial architecture with the same number of parameters. For instance, our FixEfficientNet-B0 trained without additional training data achieves 79.3% top-1 accuracy on ImageNet with 5.3M parameters. This is a +0.5% absolute improvement over the Noisy student EfficientNet-B0 trained with 300M unlabeled images. An EfficientNet-L2 pre-trained with weak supervision on 300M unlabeled images and further optimized with FixRes achieves 88.5% top-1 accuracy (top-5: 98.7%), which establishes the new state of the art for ImageNet with a single crop. These improvements are thoroughly evaluated with cleaner protocols than the one usually employed for Imagenet, and particular we show that our improvement remains in the experimental setting of ImageNet-v2, that is less prone to overfitting, and with ImageNet Real Labels. In both cases we also establish the new state of the art.