放射線レポートを自動的に生成することで、診断放射線の現在の臨床診療を改善できます。一方では、放射線科医はレポート作成の重い負担から解放されます。一方で、放射線科医に異常を思い出させ、誤診や誤診を避けることができます。それでも、このタスクは、深刻な視覚的およびテキストデータの偏りのために、データ駆動型ニューラルネットワークにとって依然として困難な仕事です。この目的のために、我々は、放射線科医の作業パターンを模倣するための事後および事前知識探索および蒸留アプローチ(PPKED)を提案します。放射線科医は、最初に異常領域を調べ、次に異常領域に疾患トピックタグを割り当てます。レポートを作成するには、長年の医学的知識と過去の実務経験の蓄積に依存します。したがって、PPKEDには、Posterior Knowledge Explorer(PoKE)、Prior Knowledge Explorer(PrKE)、およびMulti-domain Knowledge Distiller(MKD)の3つのモジュールが含まれています。詳細には、PoKEは、視覚データの偏りを軽減するために明示的な異常な視覚領域を提供する事後知識を調査します。 PrKEは、事前の医療知識グラフ(医療知識)と事前の放射線レポート(作業経験)から事前知識を調査して、テキストデータの偏りを軽減します。調査された知識は、最終レポートを生成するためにMKDによって抽出されます。 MIMIC-CXRおよびIU-Xrayデータセットで評価されたこの方法は、これら2つのデータセットで以前の最先端モデルよりも優れたパフォーマンスを発揮します。
Automatically generating radiology reports can improve current clinical practice in diagnostic radiology. On one hand, it can relieve radiologists from the heavy burden of report writing; On the other hand, it can remind radiologists of abnormalities and avoid the misdiagnosis and missed diagnosis. Yet, this task remains a challenging job for data-driven neural networks, due to the serious visual and textual data biases. To this end, we propose a Posterior-and-Prior Knowledge Exploring-and-Distilling approach (PPKED) to imitate the working patterns of radiologists, who will first examine the abnormal regions and assign the disease topic tags to the abnormal regions, and then rely on the years of prior medical knowledge and prior working experience accumulations to write reports. Thus, the PPKED includes three modules: Posterior Knowledge Explorer (PoKE), Prior Knowledge Explorer (PrKE) and Multi-domain Knowledge Distiller (MKD). In detail, PoKE explores the posterior knowledge, which provides explicit abnormal visual regions to alleviate visual data bias; PrKE explores the prior knowledge from the prior medical knowledge graph (medical knowledge) and prior radiology reports (working experience) to alleviate textual data bias. The explored knowledge is distilled by the MKD to generate the final reports. Evaluated on MIMIC-CXR and IU-Xray datasets, our method is able to outperform previous state-of-the-art models on these two datasets.