arXiv reaDer
FacebookのResNeXt WSLモデルの堅牢性プロパティ
Robustness properties of Facebook's ResNeXt WSL models
 数十億規模の弱監視データでトレーニングされたResNeXtクラスの画像認識モデル(ResNeXt WSLモデル)の堅牢性を調査します。最近Facebook AIによって公開されたこれらのモデルは、Instagramからの約1Bの画像でトレーニングされ、ImageNetで微調整されました。これらのモデルは、ImageNet-CおよびImageNet-Pベンチマークで測定されたように、一般的な画像の破損や摂動に対する前例のない堅牢性を示すことを示しています。また、最近導入された「自然な敵対者の例」ベンチマーク(ImageNet-A)の精度が大幅に向上しています。特に、リリースされた最大のモデルは、ImageNet-C、ImageNet-P、およびImageNet-Aで最先端の結果を大幅に達成しています。 ImageNet-C、ImageNet-P、およびImageNet-Aのゲインは、ImageNet検証精度のゲインをはるかに上回っており、画像認識のさらなる進歩を測定するためのより有用なベンチマークとして前者を示唆しています。驚くべきことに、ResNeXt WSLモデルは、最先端のホワイトボックス攻撃(10段階のPGD攻撃)に対して、ある程度の敵対的堅牢性さえ達成しています。ただし、敵対的に訓練されたモデルとは対照的に、ResNeXt WSLモデルの堅牢性はPGDステップの数とともに急速に低下し、これらのモデルが真の敵対的堅牢性を達成しないことを示唆しています。学習した機能の視覚化もこの結論を裏付けています。最後に、ResNeXt WSLモデルは、形状テクスチャキューの競合実験では、同等のImageNetトレーニングモデルよりも形状バイアスがかかっていますが、基本的な特性を共有していることを示唆しているため、人間よりもテクスチャバイアスが残っているこのベンチマークを困難にするImageNetでトレーニングされたモデル。
We investigate the robustness properties of ResNeXt class image recognition models trained with billion scale weakly supervised data (ResNeXt WSL models). These models, recently made public by Facebook AI, were trained with ~1B images from Instagram and fine-tuned on ImageNet. We show that these models display an unprecedented degree of robustness against common image corruptions and perturbations, as measured by the ImageNet-C and ImageNet-P benchmarks. They also achieve substantially improved accuracies on the recently introduced "natural adversarial examples" benchmark (ImageNet-A). The largest of the released models, in particular, achieves state-of-the-art results on ImageNet-C, ImageNet-P, and ImageNet-A by a large margin. The gains on ImageNet-C, ImageNet-P, and ImageNet-A far outpace the gains on ImageNet validation accuracy, suggesting the former as more useful benchmarks to measure further progress in image recognition. Remarkably, the ResNeXt WSL models even achieve a limited degree of adversarial robustness against state-of-the-art white-box attacks (10-step PGD attacks). However, in contrast to adversarially trained models, the robustness of the ResNeXt WSL models rapidly declines with the number of PGD steps, suggesting that these models do not achieve genuine adversarial robustness. Visualization of the learned features also confirms this conclusion. Finally, we show that although the ResNeXt WSL models are more shape-biased than comparable ImageNet-trained models in a shape-texture cue conflict experiment, they still remain much more texture-biased than humans, suggesting that they share some of the underlying characteristics of ImageNet-trained models that make this benchmark challenging.
updated: Mon Dec 09 2019 16:28:47 GMT+0000 (UTC)
published: Wed Jul 17 2019 17:03:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト