arXiv reaDer
Outlier Exposure with Confidence Control for Out-of-Distribution Detection
ディープニューラルネットワークは、過去数年間に分類タスクで大きな成功を収めてきました。ただし、人工知能への道の大きな問題の1つは、ニューラルネットワークが新しいクラス分布からサンプルを正確に検出できないことです。したがって、既存の分類アルゴリズムのほとんどは、トレーニング段階の前にすべてのクラスがわかっていることを前提としています。この作業では、既知のクラスのテスト例の分類精度の多くを損なうことなく、分布外(OOD)の例を効率的に検出できるようにするニューラルネットワークをトレーニングする方法を提案します。 OODサンプルにアクセスすることなく、画像とテキストの両方の分類タスクでOEを使用したOOD検出で優れた結果を達成する、新しい方法である信頼制御による外れ値露出(OECC)を生み出す新しい損失関数を提案します。さらに、OECCと、マハラノビス検出器(MD)やグラム行列(GM)などの最先端のトレーニング後のOOD検出方法を組み合わせることで、OOD検出タスクでのパフォーマンスがさらに向上することを実験的に示します。 、OOD検出のためのトレーニング方法とトレーニング後の方法を組み合わせる可能性を示しています。
Deep neural networks have achieved great success in classification tasks during the last years. However, one major problem to the path towards artificial intelligence is the inability of neural networks to accurately detect samples from novel class distributions and therefore, most of the existent classification algorithms assume that all classes are known prior to the training stage. In this work, we propose a methodology for training a neural network that allows it to efficiently detect out-of-distribution (OOD) examples without compromising much of its classification accuracy on the test examples from known classes. We propose a novel loss function that gives rise to a novel method, Outlier Exposure with Confidence Control (OECC), which achieves superior results in OOD detection with OE both on image and text classification tasks without requiring access to OOD samples. Additionally, we experimentally show that the combination of OECC with state-of-the-art post-training OOD detection methods, like the Mahalanobis Detector (MD) and the Gramian Matrices (GM) methods, further improves their performance in the OOD detection task, demonstrating the potential of combining training and post-training methods for OOD detection.
updated: Tue Feb 02 2021 22:31:14 GMT+0000 (UTC)
published: Sat Jun 08 2019 19:30:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト