自動放射線レポート生成は、医療画像の詳細な説明を自動的に生成することを目的としています。これにより、放射線科医の作業負荷が大幅に軽減され、遠隔地により良い医療サービスを提供できます。既存の作品のほとんどは、医用画像の全体像に注意を払っており、重要な解剖学的情報を利用できていません。ただし、実際の臨床診療では、放射線科医は通常、重要な解剖学的構造を特定し、特定の構造の異常の兆候を探して、根底にある疾患を推論します。この論文では、グローバルおよび解剖領域の特徴を動的に融合してマルチグレイン放射線レポートを生成する新しいフレームワークAGFNetを提案します。まず、入力胸部 X 線 (CXR) の重要な解剖領域の特徴とグローバルな特徴を抽出します。次に、地域機能とグローバル機能を入力として使用すると、提案された自己適応型フュージョンゲートモジュールは、多粒度情報を動的に融合できます。最後に、キャプション ジェネレーターは、マルチグラニュラリティ機能を使用して放射線レポートを生成します。実験結果は、モデルが IU X-Ray と MIMIC-CXR を含む 2 つのベンチマーク データセットで最先端のパフォーマンスを達成したことを示しています。さらなる分析は、私たちのモデルが放射線画像とテキストからのマルチグレイン情報を活用して、より正確なレポートを生成できることも証明しています。
Automated radiology report generation aims at automatically generating a detailed description of medical images, which can greatly alleviate the workload of radiologists and provide better medical services to remote areas. Most existing works pay attention to the holistic impression of medical images, failing to utilize important anatomy information. However, in actual clinical practice, radiologists usually locate important anatomical structures, and then look for signs of abnormalities in certain structures and reason the underlying disease. In this paper, we propose a novel framework AGFNet to dynamically fuse the global and anatomy region feature to generate multi-grained radiology report. Firstly, we extract important anatomy region features and global features of input Chest X-ray (CXR). Then, with the region features and the global features as input, our proposed self-adaptive fusion gate module could dynamically fuse multi-granularity information. Finally, the captioning generator generates the radiology reports through multi-granularity features. Experiment results illustrate that our model achieved the state-of-the-art performance on two benchmark datasets including the IU X-Ray and MIMIC-CXR. Further analyses also prove that our model is able to leverage the multi-grained information from radiology images and texts so as to help generate more accurate reports.