意味のある不確実性の推定値を提供することは、臨床現場での機械学習モデルの展開を成功させるために不可欠です。不確実性の定量化の中心的な側面は、モデルが正しいという実際の確率と十分に一致する予測を返すモデルの能力であり、モデル キャリブレーションとも呼ばれます。キャリブレーションを改善するために多くの方法が提案されてきましたが、深層ニューラル ネットワークのアンサンブルをトレーニングする単純ではあるが高価なアプローチに匹敵する手法はありません。このホワイト ペーパーでは、コストのかかるディープ アンサンブルのトレーニングと推論をバイパスし、キャリブレーション機能を維持する単純化されたアンサンブルの形式を紹介します。アイデアは、ネットワークの最後にある一般的な線形分類器を、予測に多様性を適用するためにさまざまな損失関数で監視される一連のヘッドに置き換えることです。具体的には、各ヘッドは重み付けされたクロスエントロピー損失を最小限に抑えるようにトレーニングされますが、重みはブランチごとに異なります。結果として得られる平均予測は、組織病理学的および内視鏡画像分類のための 2 つの困難なデータセットで精度を犠牲にすることなく優れたキャリブレーションを達成できることを示します。私たちの実験では、マルチヘッド マルチロス分類器は本質的に適切にキャリブレーションされており、他の最近のキャリブレーション手法よりも優れており、Deep Ensembles のパフォーマンスに挑戦することさえあります。実験を再現するコードは、https://github.com/agaldran/mhml_calibration にあります。
Delivering meaningful uncertainty estimates is essential for a successful deployment of machine learning models in the clinical practice. A central aspect of uncertainty quantification is the ability of a model to return predictions that are well-aligned with the actual probability of the model being correct, also known as model calibration. Although many methods have been proposed to improve calibration, no technique can match the simple, but expensive approach of training an ensemble of deep neural networks. In this paper we introduce a form of simplified ensembling that bypasses the costly training and inference of deep ensembles, yet it keeps its calibration capabilities. The idea is to replace the common linear classifier at the end of a network by a set of heads that are supervised with different loss functions to enforce diversity on their predictions. Specifically, each head is trained to minimize a weighted Cross-Entropy loss, but the weights are different among the different branches. We show that the resulting averaged predictions can achieve excellent calibration without sacrificing accuracy in two challenging datasets for histopathological and endoscopic image classification. Our experiments indicate that Multi-Head Multi-Loss classifiers are inherently well-calibrated, outperforming other recent calibration techniques and even challenging Deep Ensembles' performance. Code to reproduce our experiments can be found at https://github.com/agaldran/mhml_calibration .