フリーテキストの放射線レポートから病状を自動的に抽出することは、医用画像を解釈するためのコンピュータビジョンモデルを監視するために重要です。この作業では、レポートにラベルを付ける放射線科医が、対応する胸部X線画像にラベルを付ける放射線科医と大幅に一致しないことを示します。これにより、画像ラベルのプロキシとしてのレポートラベルの品質が低下します。私たちは、画像にラベルを付ける放射線科医とよりよく一致する放射線レポートからラベルを作成する方法を開発および評価します。 VisualCheXbertと呼ばれる当社の最高のパフォーマンス方法は、生物医学的に事前にトレーニングされたBERTモデルを使用して、胸部X線画像から病状を検出するようにトレーニングされたコンピュータービジョンモデルによって決定された監視信号を使用して、放射線レポートから画像ラベルに直接マッピングします。 VisualCheXbertは、既存の放射線レポートラベラーを使用したアプローチよりも平均F1スコア0.14(95%CI 0.12、0.17)で優れていることがわかりました。また、VisualCheXbertは、0.12(95%CI 0.09、0.15)〜0.21(95%CI 0.18)のいくつかの病状にわたる平均F1スコアで対応する放射線レポートにラベルを付ける放射線科医よりも、胸部X線画像にラベルを付ける放射線科医とよく一致することがわかります。 、0.24)。
Automatic extraction of medical conditions from free-text radiology reports is critical for supervising computer vision models to interpret medical images. In this work, we show that radiologists labeling reports significantly disagree with radiologists labeling corresponding chest X-ray images, which reduces the quality of report labels as proxies for image labels. We develop and evaluate methods to produce labels from radiology reports that have better agreement with radiologists labeling images. Our best performing method, called VisualCheXbert, uses a biomedically-pretrained BERT model to directly map from a radiology report to the image labels, with a supervisory signal determined by a computer vision model trained to detect medical conditions from chest X-ray images. We find that VisualCheXbert outperforms an approach using an existing radiology report labeler by an average F1 score of 0.14 (95% CI 0.12, 0.17). We also find that VisualCheXbert better agrees with radiologists labeling chest X-ray images than do radiologists labeling the corresponding radiology reports by an average F1 score across several medical conditions of between 0.12 (95% CI 0.09, 0.15) and 0.21 (95% CI 0.18, 0.24).