視覚的分類問題の予測精度で大きな成功を収めたにもかかわらず、ディープニューラルネットワーク(DNN)は、分布外(OOD)データに自信過剰の確率を提供することに苦しんでいます。それでも、安全で信頼性の高いロボットの自律性には、正確な不確実性の推定が不可欠です。この論文では、OODデータのキャリブレーション方法の従来の評価とは明らかに異なる方法で、開集合条件の一般的なキャリブレーション手法を評価します。私たちの結果は、閉集合DNNキャリブレーションアプローチは、開集合認識にはあまり効果的ではないことを示しています。これは、この問題に対処するための新しいDNNキャリブレーション方法を開発する必要性を浮き彫りにします。
Despite achieving enormous success in predictive accuracy for visual classification problems, deep neural networks (DNNs) suffer from providing overconfident probabilities on out-of-distribution (OOD) data. Yet, accurate uncertainty estimation is crucial for safe and reliable robot autonomy. In this paper, we evaluate popular calibration techniques for open-set conditions in a way that is distinctly different from the conventional evaluation of calibration methods on OOD data. Our results show that closed-set DNN calibration approaches are much less effective for open-set recognition, which highlights the need to develop new DNN calibration methods to address this problem.