乳房超音波を治療するために、深層学習ベースのコンピューター支援診断 (CAD) システムが開発されました。そのほとんどは、代表的な静止画像またはリアルタイム スキャンの動的なビデオを使用する、単一の超音波画像診断モダリティに焦点を当てています。実際、これら 2 つの画像モダリティは病変診断において補完的です。動的ビデオは病変に関する詳細な 3 次元情報を提供し、静止画像は病変の典型的なセクションをキャプチャします。この研究では、放射線科医の診断プロセスを模倣するマルチモダリティ乳腫瘍診断モデルを提案します。このモデルは、静止画像と動的ビデオの両方の特徴を学習し、2 つのモダリティ間の潜在的な関係を調査します。静止画像は専門の放射線科医によって慎重に選択されることを考慮して、マルチモダリティ機能を融合する前に、静止画像からの領域知識の指導の下で動的なビデオ特徴を集約することを提案します。私たちの研究は、897 セットの超音波画像とビデオで構成される乳房超音波データセットで検証されています。実験結果は、私たちのモデルが良性/悪性分類のパフォーマンスを向上させ、AUC で 90.0%、精度で 81.7% を達成したことを示しています。
Deep learning based Computer Aided Diagnosis (CAD) systems have been developed to treat breast ultrasound. Most of them focus on a single ultrasound imaging modality, either using representative static images or the dynamic video of a real-time scan. In fact, these two image modalities are complementary for lesion diagnosis. Dynamic videos provide detailed three-dimensional information about the lesion, while static images capture the typical sections of the lesion. In this work, we propose a multi-modality breast tumor diagnosis model to imitate the diagnosing process of radiologists, which learns the features of both static images and dynamic video and explores the potential relationship between the two modalities. Considering that static images are carefully selected by professional radiologists, we propose to aggregate dynamic video features under the guidance of domain knowledge from static images before fusing multi-modality features. Our work is validated on a breast ultrasound dataset composed of 897 sets of ultrasound images and videos. Experimental results show that our model boosts the performance of Benign/Malignant classification, achieving 90.0% in AUC and 81.7% in accuracy.