arXiv reaDer
ImageNet分類器はImageNetに一般化するか?
Do ImageNet Classifiers Generalize to ImageNet?
我々はCIFAR-10とImageNetデータセットのための新しいテストセットを構築した。この2つのベンチマークは、10年近くにわたって集中的な研究が行われてきたが、過度に再利用されたテストセットのオーバーフィットの危険性が指摘されている。元のデータセットの作成プロセスを綿密に追跡することで、現在の分類モデルが新しいデータにどの程度まで一般化するかを検証する。幅広いモデルを評価した結果、CIFAR-10では3%~15%、ImageNetでは11%~14%の精度低下が見られた。しかし、元のテストセットでの精度の向上は、新しいテストセットでの精度の向上に大きく影響する。我々の結果は、精度の低下は適応性によるものではなく、モデルが元のテストセットで見つかった画像よりもわずかに「難しい」画像に一般化できないことによるものであることを示唆している。
We build new test sets for the CIFAR-10 and ImageNet datasets. Both benchmarks have been the focus of intense research for almost a decade, raising the danger of overfitting to excessively re-used test sets. By closely following the original dataset creation processes, we test to what extent current classification models generalize to new data. We evaluate a broad range of models and find accuracy drops of 3% - 15% on CIFAR-10 and 11% - 14% on ImageNet. However, accuracy gains on the original test sets translate to larger gains on the new test sets. Our results suggest that the accuracy drops are not caused by adaptivity, but by the models' inability to generalize to slightly "harder" images than those found in the original test sets.
updated: Wed Jun 12 2019 17:42:33 GMT+0000 (UTC)
published: Wed Feb 13 2019 20:35:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト