医用画像は、臨床診療における診断と治療において極めて重要な役割を果たします。自動画像キャプションの大幅な進歩に触発されて、医用画像の放射線レポートを生成するために、さまざまな深層学習(DL)ベースのアーキテクチャが提案されています。ただし、モデルの不確実性(つまり、モデルの信頼性/レポート生成の信頼性)は、まだ十分に検討されていない問題です。この論文では、放射線レポート生成のタスクの視覚的不確実性とテキスト的不確実性の両方を明示的に定量化するための新しい方法を提案します。このようなマルチモーダルな不確実性は、レポートレベルとセンテンスレベルの両方でモデルの信頼スコアを十分に捉えることができるため、より包括的なモデルの最適化を実現するために損失を重み付けするためにさらに活用されます。私たちの実験結果は、モデルの不確実性の特性評価と推定のための提案された方法が放射線レポート生成のためのより信頼できる信頼スコアを提供でき、提案された不確実性加重損失がより包括的なモデル最適化を達成し、最先端のパフォーマンスをもたらすことを示しました公開放射線レポートデータセット。
Medical imaging plays a pivotal role in diagnosis and treatment in clinical practice. Inspired by the significant progress in automatic image captioning, various deep learning (DL)-based architectures have been proposed for generating radiology reports for medical images. However, model uncertainty (i.e., model reliability/confidence on report generation) is still an under-explored problem. In this paper, we propose a novel method to explicitly quantify both the visual uncertainty and the textual uncertainty for the task of radiology report generation. Such multi-modal uncertainties can sufficiently capture the model confidence scores at both the report-level and the sentence-level, and thus they are further leveraged to weight the losses for achieving more comprehensive model optimization. Our experimental results have demonstrated that our proposed method for model uncertainty characterization and estimation can provide more reliable confidence scores for radiology report generation, and our proposed uncertainty-weighted losses can achieve more comprehensive model optimization and result in state-of-the-art performance on a public radiology report dataset.