arXiv reaDer
画像分類のための分布外検出法の実用的評価
Practical Evaluation of Out-of-Distribution Detection Methods for Image Classification
画像認識のためのOOD検出法の評価を再考する。より良いOOD検出方法を構築するためにこれまで多くの研究が行われてきましたが、それらのほとんどは実験的評価の方法に関するHendrycksとGimpelの研究に従っています。公正な比較には統一された評価方法が必要ですが、タスクとデータセットの選択が実際のアプリケーションを反映しているかどうか、評価結果を他のOOD検出アプリケーションシナリオに一般化できるかどうかという問題があります。この論文では、さまざまなデータセットと分類タスクで、3つのシナリオ、つまり、無関係な入力検出、新規クラス検出、およびドメインシフト検出の代表的なOOD検出方法のパフォーマンスを実験的に評価します。結果は、シナリオとデータセットの違いがメソッド間の相対的なパフォーマンスを変えることを示しています。私たちの結果は、OOD検出方法を選択するための開業医のためのガイドとしても使用できます。
We reconsider the evaluation of OOD detection methods for image recognition. Although many studies have been conducted so far to build better OOD detection methods, most of them follow Hendrycks and Gimpel's work for the method of experimental evaluation. While the unified evaluation method is necessary for a fair comparison, there is a question of if its choice of tasks and datasets reflect real-world applications and if the evaluation results can generalize to other OOD detection application scenarios. In this paper, we experimentally evaluate the performance of representative OOD detection methods for three scenarios, i.e., irrelevant input detection, novel class detection, and domain shift detection, on various datasets and classification tasks. The results show that differences in scenarios and datasets alter the relative performance among the methods. Our results can also be used as a guide for practitioners for the selection of OOD detection methods.
updated: Thu Jan 07 2021 09:28:45 GMT+0000 (UTC)
published: Thu Jan 07 2021 09:28:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト