人工知能(AI)を利用した手法は、病気の診断などのリスク分野で大きな注目を集めていました。病気の種類の分類とは異なり、医用画像を良性または悪性として分類することはきめ細かい作業です。ただし、ほとんどの研究は診断精度の向上にのみ焦点を当てており、モデルの信頼性の評価を無視しているため、臨床応用が制限されています。臨床診療では、キャリブレーションは、パラメータが過剰なモデルと固有のノイズに対して、低データレジームで非常に大きな課題を提示します。特に、データに依存する不確実性のモデリングが信頼性のキャリブレーションに役立つことを発見しました。テスト時間拡張(TTA)と比較して、予測の不確実性をより適切に調整し、追加の推論時間なしでデータ分布変換をキャプチャできる、Mixupデータ拡張戦略を備えた修正ブートストラップ損失(BS損失)関数を提案しました。私たちの実験では、Mixup(BSM)モデルを使用したBS損失は、標準のデータ拡張、ディープアンサンブル、およびMCドロップアウトと比較して、期待されるキャリブレーションエラー(ECE)を半減できることが示されました。ドメイン内データの不確実性と類似性の間の相関は、BSMモデルでは最大-0.4428です。さらに、BSMモデルは、ドメイン外データの意味的距離を認識することができ、実際の臨床診療における高い可能性を示しています。
Artificial intelligence(AI)-assisted method had received much attention in the risk field such as disease diagnosis. Different from the classification of disease types, it is a fine-grained task to classify the medical images as benign or malignant. However, most research only focuses on improving the diagnostic accuracy and ignores the evaluation of model reliability, which limits its clinical application. For clinical practice, calibration presents major challenges in the low-data regime extremely for over-parametrized models and inherent noises. In particular, we discovered that modeling data-dependent uncertainty is more conducive to confidence calibrations. Compared with test-time augmentation(TTA), we proposed a modified Bootstrapping loss(BS loss) function with Mixup data augmentation strategy that can better calibrate predictive uncertainty and capture data distribution transformation without additional inference time. Our experiments indicated that BS loss with Mixup(BSM) model can halve the Expected Calibration Error(ECE) compared to standard data augmentation, deep ensemble and MC dropout. The correlation between uncertainty and similarity of in-domain data is up to -0.4428 under the BSM model. Additionally, the BSM model is able to perceive the semantic distance of out-of-domain data, demonstrating high potential in real-world clinical practice.