arXiv reaDer
CheXbreak: Misclassification Identification for Deep Learning Models Interpreting Chest X-rays
胸部X線解釈のための深層学習モデルを臨床現場に統合する上での主な障害は、それらの失敗モードの理解の欠如です。この作業では、最初に胸部X線モデルが誤分類する可能性のある患者のサブグループがあるかどうかを調査します。患者の年齢と肺病変、気胸、またはサポートデバイスのレントゲン写真の所見は、一部の胸部X線モデルの誤分類を予測するための統計的に関連する機能であることがわかります。次に、出力と臨床的特徴を使用して、胸部X線モデルの誤分類予測子を開発します。最高のパフォーマンスの誤分類識別子は、ほとんどの疾患で0.9に近いAUROCを達成することがわかりました。第3に、誤分類識別子を使用して、推論時に誤分類の可能性が高いモデル予測を選択的に反転する修正アルゴリズムを開発します。圧密(0.008 [95%CI 0.005、0.010])および浮腫(0.003、[95%CI 0.001、0.006])の予測でF1の改善が見られます。 10の異なる高性能胸部X線モデルで調査を実施することにより、モデルアーキテクチャ全体の洞察を導き出し、他の医用画像タスクに適用可能な一般化可能なフレームワークを提供することができます。
A major obstacle to the integration of deep learning models for chest x-ray interpretation into clinical settings is the lack of understanding of their failure modes. In this work, we first investigate whether there are patient subgroups that chest x-ray models are likely to misclassify. We find that patient age and the radiographic finding of lung lesion, pneumothorax or support devices are statistically relevant features for predicting misclassification for some chest x-ray models. Second, we develop misclassification predictors on chest x-ray models using their outputs and clinical features. We find that our best performing misclassification identifier achieves an AUROC close to 0.9 for most diseases. Third, employing our misclassification identifiers, we develop a corrective algorithm to selectively flip model predictions that have high likelihood of misclassification at inference time. We observe F1 improvement on the prediction of Consolidation (0.008 [95% CI 0.005, 0.010]) and Edema (0.003, [95% CI 0.001, 0.006]). By carrying out our investigation on ten distinct and high-performing chest x-ray models, we are able to derive insights across model architectures and offer a generalizable framework applicable to other medical imaging tasks.
updated: Tue Jul 20 2021 17:20:35 GMT+0000 (UTC)
published: Thu Mar 18 2021 00:30:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト