ラジオミクスの開発に伴い、超音波(US)イメージングのような非侵襲的診断は、自動肝線維症診断(ALFD)において非常に重要な役割を果たしています。ノイズの多いデータ、米国の画像の高価な注釈のため、人工知能(AI)支援アプローチのアプリケーションはボトルネックに遭遇します。さらに、モノモーダルの米国データを使用すると、分類結果のさらなる改善が制限されます。この作業では、ALFDが複数のモダリティの情報を活用し、ノイズの多いデータを排除し、注釈コストを削減するために、アクティブラーニングを備えたマルチモーダルフュージョンネットワーク(MMFN-AL)を革新的に提案します。米国と3種類のせん断波エラストグラフィ(SWE)を含む4つの画像モダリティが活用されています。 214の候補からのこれらのモダリティを含む新しいデータセットは、肝生検の結果から得られたラベルを使用して、十分に収集され、前処理されます。実験結果は、提案された方法が30%未満のデータを使用して最先端のパフォーマンスを上回り、約80%のデータのみを使用することにより、提案された融合ネットワークが高いAUC 89.27%と精度70.59%を達成することを示しています。
With the development of radiomics, noninvasive diagnosis like ultrasound (US) imaging plays a very important role in automatic liver fibrosis diagnosis (ALFD). Due to the noisy data, expensive annotations of US images, the application of Artificial Intelligence (AI) assisting approaches encounters a bottleneck. Besides, the use of mono-modal US data limits the further improve of the classification results. In this work, we innovatively propose a multi-modal fusion network with active learning (MMFN-AL) for ALFD to exploit the information of multiple modalities, eliminate the noisy data and reduce the annotation cost. Four image modalities including US and three types of shear wave elastography (SWEs) are exploited. A new dataset containing these modalities from 214 candidates is well-collected and pre-processed, with the labels obtained from the liver biopsy results. Experimental results show that our proposed method outperforms the state-of-the-art performance using less than 30% data, and by using only around 80% data, the proposed fusion network achieves high AUC 89.27% and accuracy 70.59%.