ディープニューラルネットワーク(DNN)、特に畳み込みニューラルネットワークは、画像分類タスクで優れたパフォーマンスを実現しています。ただし、このようなパフォーマンスは、トレーニング済みモデルへの入力がトレーニングサンプルに類似している場合、つまり入力がトレーニングセットの確率分布に従う場合にのみ保証されます。 Out-Of-Distribution(OOD)サンプルは、トレーニングセットの分布に従わないため、OODサンプルで予測されたクラスラベルは無意味になります。 OOD検出には、分類ベースの方法が提案されています。ただし、この研究では、このタイプの方法は、モデルの次元削減のために、理論的には効果がなく、実際には壊れやすいことを示しています。また、グロー尤度ベースのOOD検出も効果がないことを示します。私たちの分析は、COVID-19CTデータセットを含む5つのオープンデータセットで実証されています。最後に、OOD検出のパフォーマンスが保証された単純な理論的ソリューションを紹介します。
Deep neural network (DNN), especially convolutional neural network, has achieved superior performance on image classification tasks. However, such performance is only guaranteed if the input to a trained model is similar to the training samples, i.e., the input follows the probability distribution of the training set. Out-Of-Distribution (OOD) samples do not follow the distribution of training set, and therefore the predicted class labels on OOD samples become meaningless. Classification-based methods have been proposed for OOD detection; however, in this study we show that this type of method is theoretically ineffective and practically breakable because of dimensionality reduction in the model. We also show that Glow likelihood-based OOD detection is ineffective as well. Our analysis is demonstrated on five open datasets, including a COVID-19 CT dataset. At last, we present a simple theoretical solution with guaranteed performance for OOD detection.