AIシステムの信頼性を高めるには、AIシステムがその決定において表現する信頼性がその精度と一致している必要があります。一致の程度を評価するために、例は通常、信頼度によってビニングされ、ビンごとの平均信頼度と精度が比較されます。キャリブレーションのほとんどの研究は、キャリブレーションエラーのこの経験的尺度であるECE_binを減らすための技術に焦点を合わせています。代わりに、この経験的尺度で統計的バイアスを評価することに焦点を当て、より良い推定量を特定します。与えられたサイズの評価データセットに対する特定の推定量のバイアスを計算できるフレームワークを提案します。このフレームワークには、一般的なデータセットの一般的なニューラルアーキテクチャと同じ統計を持つモデル出力の合成が含まれます。質量(インスタンス数)が等しいビンを持つビニングベースの推定量は、幅が等しいビンを持つ推定量よりもバイアスが低いことがわかります。私たちの結果は、2つの信頼できるキャリブレーションエラー推定量を示しています。偏りのない推定量(Brocker、2012; Ferro and Fricker、2012)と、等質量ビンを使用し、ビンの数をできるだけ多く選択するECE_sweepを提案する方法です。キャリブレーション機能で単調性を維持しながら。これらの推定量を使用すると、再キャリブレーション方法の有効性とモデルのミスキャリブレーションの検出に改善が見られます。
For an AI system to be reliable, the confidence it expresses in its decisions must match its accuracy. To assess the degree of match, examples are typically binned by confidence and the per-bin mean confidence and accuracy are compared. Most research in calibration focuses on techniques to reduce this empirical measure of calibration error, ECE_bin. We instead focus on assessing statistical bias in this empirical measure, and we identify better estimators. We propose a framework through which we can compute the bias of a particular estimator for an evaluation data set of a given size. The framework involves synthesizing model outputs that have the same statistics as common neural architectures on popular data sets. We find that binning-based estimators with bins of equal mass (number of instances) have lower bias than estimators with bins of equal width. Our results indicate two reliable calibration-error estimators: the debiased estimator (Brocker, 2012; Ferro and Fricker, 2012) and a method we propose, ECE_sweep, which uses equal-mass bins and chooses the number of bins to be as large as possible while preserving monotonicity in the calibration function. With these estimators, we observe improvements in the effectiveness of recalibration methods and in the detection of model miscalibration.