arXiv reaDer
Are Out-of-Distribution Detection Methods Effective on Large-Scale Datasets?
 教師あり分類法では、多くの場合、トレーニングとテストデータの分布が同じであり、テストセット内のすべてのクラスがトレーニングセットに存在することを前提としています。ただし、展開された分類子には、多くの場合、トレーニングセットの外部からの入力を不明として認識する機能が必要です。この問題は、分布外検出やオープンセット認識など、複数のパラダイムの下で研究されています。畳み込みニューラルネットワークには、2つの主要なアプローチがあります。1)既知の要素を未知の要素から分離する推論方法と、2)異常値入力に対するモデルの堅牢性を向上させる特徴空間正則化戦略です。 2つのアプローチの関係を調査し、最大で100のカテゴリを持つ小規模データセット以外のパフォーマンスを直接比較する努力はほとんどありませんでした。 ImageNet-1KとPlaces-434を使用して、難易度が増加する複数の異常値検出問題で最高のパフォーマンスを発揮する、正則化と特殊な推論方法の新しい組み合わせを特定します。入力摂動と温度スケーリングは、特徴空間の正則化戦略に関係なく、大規模データセットで最高のパフォーマンスをもたらすことがわかりました。適切な背景クラスが見つかった場合、背景クラスに対して正規化することで特徴空間を改善することは役立ちますが、これは大規模な画像分類データセットには実用的ではありません。
Supervised classification methods often assume the train and test data distributions are the same and that all classes in the test set are present in the training set. However, deployed classifiers often require the ability to recognize inputs from outside the training set as unknowns. This problem has been studied under multiple paradigms including out-of-distribution detection and open set recognition. For convolutional neural networks, there have been two major approaches: 1) inference methods to separate knowns from unknowns and 2) feature space regularization strategies to improve model robustness to outlier inputs. There has been little effort to explore the relationship between the two approaches and directly compare performance on anything other than small-scale datasets that have at most 100 categories. Using ImageNet-1K and Places-434, we identify novel combinations of regularization and specialized inference methods that perform best across multiple outlier detection problems of increasing difficulty level. We found that input perturbation and temperature scaling yield the best performance on large scale datasets regardless of the feature space regularization strategy. Improving the feature space by regularizing against a background class can be helpful if an appropriate background class can be found, but this is impractical for large scale image classification datasets.
updated: Wed Oct 30 2019 17:53:13 GMT+0000 (UTC)
published: Wed Oct 30 2019 17:53:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト