信頼性のキャリブレーションは、機械学習システムによって行われる決定の信頼性にとって非常に重要です。ただし、ディープニューラルネットワークに基づく識別分類器は、分類精度の真の正しさの可能性を反映できない自信過剰な予測を生成することで批判されることがよくあります。このような不確実性をモデル化できないのは、主にソフトマックスの閉世界の性質が原因であると主張します。クロスエントロピー損失によってトレーニングされたモデルは、入力をK個の事前定義されたカテゴリの1つに高い確率で分類することを余儀なくされます。この問題に対処するために、私たちは初めて、オープンワールドの不確実性のモデリングを追加の次元として組み込んだ、新しいK +1ウェイソフトマックス定式化を提案します。元のK-way分類タスクの学習と不確実性をモデル化する追加の次元を統合するために、新しいエネルギーベースの目的関数を提案し、さらに、そのような目的を最適化すると、本質的に追加の次元が限界データをキャプチャすることを理論的に証明します分布。広範な実験により、私たちのアプローチであるエネルギーベースのオープンワールドソフトマックス(EOW-Softmax)は、信頼性キャリブレーションの改善において既存の最先端の方法よりも優れていることが示されています。
Confidence calibration is of great importance to the reliability of decisions made by machine learning systems. However, discriminative classifiers based on deep neural networks are often criticized for producing overconfident predictions that fail to reflect the true correctness likelihood of classification accuracy. We argue that such an inability to model uncertainty is mainly caused by the closed-world nature in softmax: a model trained by the cross-entropy loss will be forced to classify input into one of K pre-defined categories with high probability. To address this problem, we for the first time propose a novel K+1-way softmax formulation, which incorporates the modeling of open-world uncertainty as the extra dimension. To unify the learning of the original K-way classification task and the extra dimension that models uncertainty, we propose a novel energy-based objective function, and moreover, theoretically prove that optimizing such an objective essentially forces the extra dimension to capture the marginal data distribution. Extensive experiments show that our approach, Energy-based Open-World Softmax (EOW-Softmax), is superior to existing state-of-the-art methods in improving confidence calibration.