最新のニューラルネットワークは、信頼性のキャリブレーションに関して誤ってキャリブレーションされていることがわかっています。つまり、予測された信頼性スコアは、観測された精度や精度を反映していません。最近の研究では、この問題に対処するために、分類およびオブジェクト検出のための事後信頼性キャリブレーションの方法が導入されています。特にセーフティクリティカルなアプリケーションでは、モデルの信頼できる自己評価を取得することが重要です。しかし、たとえば知識ベースが不十分なために、キャリブレーション方法自体が不確実な場合はどうなるでしょうか。ベイジアン信頼度キャリブレーションを紹介します。これは、キャリブレーション方法の不確かさと併せて、キャリブレーションされた信頼度推定値を取得するためのフレームワークです。一般に、ベイジアンニューラルネットワーク(BNN)は、特定の予測に関するネットワークの不確実性を示すために使用されます。 BNNは、推論に重みの代わりに分布を使用するニューラルネットワークとして解釈されます。分布を使用するというこのアイデアを信頼性キャリブレーションに移します。この目的のために、確率的変分推論を使用して、単一のキャリブレーションされた推定値ではなく、確率分布を出力するキャリブレーションマッピングを構築します。このアプローチを使用して、オブジェクト検出キャリブレーションの最先端のキャリブレーションパフォーマンスを実現します。最後に、この追加のタイプの不確実性を共変量シフト検出の十分な基準として使用できることを示します。すべてのコードはオープンソースであり、https://github.com/EFS-OpenSource/calibration-frameworkで入手できます。
Modern neural networks have found to be miscalibrated in terms of confidence calibration, i.e., their predicted confidence scores do not reflect the observed accuracy or precision. Recent work has introduced methods for post-hoc confidence calibration for classification as well as for object detection to address this issue. Especially in safety critical applications, it is crucial to obtain a reliable self-assessment of a model. But what if the calibration method itself is uncertain, e.g., due to an insufficient knowledge base? We introduce Bayesian confidence calibration - a framework to obtain calibrated confidence estimates in conjunction with an uncertainty of the calibration method. Commonly, Bayesian neural networks (BNN) are used to indicate a network's uncertainty about a certain prediction. BNNs are interpreted as neural networks that use distributions instead of weights for inference. We transfer this idea of using distributions to confidence calibration. For this purpose, we use stochastic variational inference to build a calibration mapping that outputs a probability distribution rather than a single calibrated estimate. Using this approach, we achieve state-of-the-art calibration performance for object detection calibration. Finally, we show that this additional type of uncertainty can be used as a sufficient criterion for covariate shift detection. All code is open source and available at https://github.com/EFS-OpenSource/calibration-framework.