arXiv reaDer
Natural Adversarial Examples
機械学習モデルのパフォーマンスを確実に大幅に低下させる2つの難しいデータセットを紹介します。データセットは、単純な敵対的フィルタリング手法を使用して収集され、スプリアスキューが制限されたデータセットを作成します。私たちのデータセットの実際の変更されていない例は、さまざまな目に見えないモデルに確実に転送され、コンピュータービジョンモデルが共通の弱点を持っていることを示しています。最初のデータセットはImageNet-Aと呼ばれ、ImageNetテストセットに似ていますが、既存のモデルでははるかに困難です。また、ImageNetモデル用に作成された最初の分布外検出データセットであるImageNet-Oと呼ばれる敵対的な分布外検出データセットをキュレートします。 ImageNet-Aでは、DenseNet-121は約2%の精度、約90%の精度低下を実現し、ImageNet-Oでの分布外検出パフォーマンスはほぼランダムな確率レベルです。既存のデータ拡張手法ではパフォーマンスが向上することはほとんどなく、他の公開トレーニングデータセットを使用すると、限られた改善しか得られないことがわかりました。ただし、コンピュータビジョンアーキテクチャの改善により、堅牢なモデルへの有望な道が開かれることがわかりました。
We introduce two challenging datasets that reliably cause machine learning model performance to substantially degrade. The datasets are collected with a simple adversarial filtration technique to create datasets with limited spurious cues. Our datasets' real-world, unmodified examples transfer to various unseen models reliably, demonstrating that computer vision models have shared weaknesses. The first dataset is called ImageNet-A and is like the ImageNet test set, but it is far more challenging for existing models. We also curate an adversarial out-of-distribution detection dataset called ImageNet-O, which is the first out-of-distribution detection dataset created for ImageNet models. On ImageNet-A a DenseNet-121 obtains around 2% accuracy, an accuracy drop of approximately 90%, and its out-of-distribution detection performance on ImageNet-O is near random chance levels. We find that existing data augmentation techniques hardly boost performance, and using other public training datasets provides improvements that are limited. However, we find that improvements to computer vision architectures provide a promising path towards robust models.
updated: Thu Mar 04 2021 21:56:19 GMT+0000 (UTC)
published: Tue Jul 16 2019 17:56:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト