患者の胸部X線(CXR)からレポートを自動的に生成することは、臨床的作業負荷を軽減し、患者のケアを改善するための有望なソリューションです。ただし、主にエンコーダーからデコーダーへのモデルである現在のCXRレポートジェネレーターは、臨床現場で展開するための診断精度に欠けています。 CXRレポートの生成を改善するために、最近のオープンソースコンピュータービジョンと、Vision Transformer(ViT)やPubMedBERTなどの自然言語処理チェックポイントを使用してエンコーダーとデコーダーをウォームスタートすることを調査します。この目的のために、各チェックポイントは、自然言語生成と臨床効果(CE)メトリックを使用して、MIMIC-CXRおよびIUX線データセットで評価されます。私たちの実験的調査は、畳み込みビジョントランスフォーマー(CvT)ImageNet-21Kと蒸留生成事前トレーニングトランスフォーマー2(DistilGPT2)チェックポイントが、それぞれエンコーダーとデコーダーのウォームスタートに最適であることを示しています。最新の(M2トランスプログレッシブ)と比較して、CvT2DistilGPT2はCE F-1で8.3%、BLEU-4で1.8%、ROUGE-Lで1.6%、METEORで1.0%の改善を達成しました。 CvT2DistilGPT2によって生成されたレポートは、診断がより正確であり、以前のアプローチよりも放射線科医のレポートとの類似性が高くなっています。ウォームスタートを活用することにより、CvT2DistilGPT2は自動CXRレポート生成を臨床設定に一歩近づけます。 CvT2DistilGPT2とそのMIMIC-CXRチェックポイントは、https://github.com/aehrc/cvt2distilgpt2で入手できます。
Automatically generating a report from a patient's Chest X-Rays (CXRs) is a promising solution to reducing clinical workload and improving patient care. However, current CXR report generators, which are predominantly encoder-to-decoder models, lack the diagnostic accuracy to be deployed in a clinical setting. To improve CXR report generation, we investigate warm-starting the encoder and decoder with recent open-source computer vision and natural language processing checkpoints, such as the Vision Transformer (ViT) and PubMedBERT. To this end, each checkpoint is evaluated on the MIMIC-CXR and IU X-Ray datasets using natural language generation and Clinical Efficacy (CE) metrics. Our experimental investigation demonstrates that the Convolutional vision Transformer (CvT) ImageNet-21K and the Distilled Generative Pre-trained Transformer 2 (DistilGPT2) checkpoints are best for warm-starting the encoder and decoder, respectively. Compared to the state-of-the-art (M2 Transformer Progressive), CvT2DistilGPT2 attained an improvement of 8.3% for CE F-1, 1.8% for BLEU-4, 1.6% for ROUGE-L, and 1.0% for METEOR. The reports generated by CvT2DistilGPT2 are more diagnostically accurate and have a higher similarity to radiologist reports than previous approaches. By leveraging warm-starting, CvT2DistilGPT2 brings automatic CXR report generation one step closer to the clinical setting. CvT2DistilGPT2 and its MIMIC-CXR checkpoint are available at https://github.com/aehrc/cvt2distilgpt2.