全スライド画像(WSI)と遺伝子発現データの組み合わせなどのマルチモーダルデータを生存分析に使用すると、より正確な生存予測につながる可能性があります。以前のマルチモーダル生存モデルでは、各モダリティ内の固有の情報を効率的に発掘することはできません。さらに、実験結果は、WSIが遺伝子発現データよりも効果的な情報を提供することを示していますが、以前の方法では、異なるモダリティからの情報が同様に重要であると見なされているため、モダリティ間の潜在的な接続を柔軟に利用できません。上記の問題に対処するために、AMMASurvと呼ばれる新しい非対称マルチモーダル法を提案します。具体的には、マルチモーダルデータ用のTransformerエンコーダーで非対称マルチモーダル注意メカニズム(AMMA)を設計し、生存予測のためのより柔軟なマルチモーダル情報融合を可能にします。以前の作品とは異なり、AMMASurvはすべてのモダリティ内の固有の情報を効果的に利用でき、さまざまな重要性のモダリティに柔軟に適応できます。提案されたモデルの有効性を検証するために、広範な実験が実施されます。有望な結果は、他の最先端の方法に対する私たちの方法の優位性を示しています。
The use of multi-modal data such as the combination of whole slide images (WSIs) and gene expression data for survival analysis can lead to more accurate survival predictions. Previous multi-modal survival models are not able to efficiently excavate the intrinsic information within each modality. Moreover, despite experimental results show that WSIs provide more effective information than gene expression data, previous methods regard the information from different modalities as similarly important so they cannot flexibly utilize the potential connection between the modalities. To address the above problems, we propose a new asymmetrical multi-modal method, termed as AMMASurv. Specifically, we design an asymmetrical multi-modal attention mechanism (AMMA) in Transformer encoder for multi-modal data to enable a more flexible multi-modal information fusion for survival prediction. Different from previous works, AMMASurv can effectively utilize the intrinsic information within every modality and flexibly adapts to the modalities of different importance. Extensive experiments are conducted to validate the effectiveness of the proposed model. Encouraging results demonstrate the superiority of our method over other state-of-the-art methods.