アウトオブディストリビューション(OOD)検出は、機械学習システムを堅牢にするための重要な部分です。 ImageNet-Oデータセットは、さまざまなシステムやアプリケーションで広く使用されているImageNetでトレーニングされたディープニューラルネットワークの堅牢性をテストするための重要なツールです。 ImageNetモデルのOOD検出の研究を支援するために作成された、ImageNetとは異なるラベル分布を持つ最初の種類のデータセットであるImageNet-OでOOD検出方法の比較分析を実行することを目指しています。このデータセットはかなり新しいため、この新しいデータセットの最新のOOD検出方法のいくつかの包括的なベンチマークを提供することを目指しています。このベンチマークは、さまざまなモデルアーキテクチャ、OODデータに事前にアクセスできる設定とアクセスできない設定、予測スコアベースのアプローチ、OOD検出への詳細な生成アプローチなどを対象としています。
Out of distribution (OOD) detection is a crucial part of making machine learning systems robust. The ImageNet-O dataset is an important tool in testing the robustness of ImageNet trained deep neural networks that are widely used across a variety of systems and applications. We aim to perform a comparative analysis of OOD detection methods on ImageNet-O, a first of its kind dataset with a label distribution different than that of ImageNet, that has been created to aid research in OOD detection for ImageNet models. As this dataset is fairly new, we aim to provide a comprehensive benchmarking of some of the current state of the art OOD detection methods on this novel dataset. This benchmarking covers a variety of model architectures, settings where we haves prior access to the OOD data versus when we don't, predictive score based approaches, deep generative approaches to OOD detection, and more.