画像スタイル、画像のぼやけ、地理的位置、カメラ操作などの変更で構成される4つの新しい実世界の分布シフトデータセットを紹介します。新しいデータセットを使用して、配布外の堅牢性を向上させるために以前に提案された方法を検討し、それらをテストします。以前の研究での主張とは対照的に、より大きなモデルと人工的なデータ拡張を使用すると、実際の分布シフトに対するロバスト性を向上させることができることがわかりました。以前の研究での主張とは反対に、人工的な堅牢性ベンチマークの改善が実際の分布シフトに移行する可能性があることがわかりました。データ拡張が実際の分布シフトに役立つという観察に動機付けられて、最新のデータ拡張方法を導入し、1000倍以上のラベル付きデータで事前トレーニングされたモデルよりも優れています。全体として、いくつかの方法はテクスチャとローカル画像統計の分布シフトに一貫して役立つことがわかりますが、これらの方法は地理的変化のような他のいくつかの分布シフトには役立ちません。私たちの結果は、評価された方法が一貫してロバスト性を改善しないことを示しているため、将来の研究では複数の分布シフトを同時に研究する必要があることを示しています。
We introduce four new real-world distribution shift datasets consisting of changes in image style, image blurriness, geographic location, camera operation, and more. With our new datasets, we take stock of previously proposed methods for improving out-of-distribution robustness and put them to the test. We find that using larger models and artificial data augmentations can improve robustness on real-world distribution shifts, contrary to claims in prior work. We find improvements in artificial robustness benchmarks can transfer to real-world distribution shifts, contrary to claims in prior work. Motivated by our observation that data augmentations can help with real-world distribution shifts, we also introduce a new data augmentation method which advances the state-of-the-art and outperforms models pretrained with 1000 times more labeled data. Overall we find that some methods consistently help with distribution shifts in texture and local image statistics, but these methods do not help with some other distribution shifts like geographic changes. Our results show that future research must study multiple distribution shifts simultaneously, as we demonstrate that no evaluated method consistently improves robustness.