最近の調査結果は、ニューラルネットワークがトレーニングエラーがゼロの過剰パラメータ化されたレジームでも一般化することを示しています。これは、従来の機械学習の知恵に完全に反しているため、驚くべきことです。私たちの経験的研究では、これらの発見をきめの細かい画像分類の領域で強化します。数百万の重みを持つ非常に大規模な畳み込みニューラルネットワークは、ほんの一握りのトレーニングサンプルで、画像の拡張、明示的な正則化、または事前トレーニングなしで学習することを示します。アーキテクチャResNet018、ResNet101、およびVGG19を、100クラス以上の難しいベンチマークデータセットCaltech101、CUB_200_2011、FGVCAircraft、Flowers102、およびStanfordCarsのサブセットでトレーニングし、包括的な比較研究を実行して、CNNの実用化に影響を与えます。最後に、1億4000万の重みを持つVGG19が、クラスあたりわずか20サンプルで、飛行機とバイクを最大95%の精度で区別することを学習することを示します。
Recent findings have shown that Neural Networks generalize also in over-parametrized regimes with zero training error. This is surprising, since it is completely against traditional machine learning wisdom. In our empirical study we fortify these findings in the domain of fine-grained image classification. We show that very large Convolutional Neural Networks with millions of weights do learn with only a handful of training samples and without image augmentation, explicit regularization or pretraining. We train the architectures ResNet018, ResNet101 and VGG19 on subsets of the difficult benchmark datasets Caltech101, CUB_200_2011, FGVCAircraft, Flowers102 and StanfordCars with 100 classes and more, perform a comprehensive comparative study and draw implications for the practical application of CNNs. Finally, we show that VGG19 with 140 million weights learns to distinguish airplanes and motorbikes up to 95% accuracy with only 20 samples per class.