マルチモダリティからのデータは、臨床予測において補足的な情報を提供しますが、臨床コホートでデータが欠落していると、マルチモーダル学習コンテキストの被験者数が制限されます。マルチモーダル欠測代入は、次の場合に既存の方法では困難です。1)欠測データが異種モダリティ(たとえば、画像と非画像)にまたがる。または2)1つのモダリティが大幅に欠落しています。この論文では、マルチモーダルデータの同時分布をモデル化することにより、欠測データの代入に対処します。部分的双方向生成敵対的ネット(PBiGAN)に動機付けられて、別のモダリティからの条件付き知識を組み合わせて1つのモダリティを代入する新しい条件付きPBiGAN(C-PBiGAN)メソッドを提案します。具体的には、C-PBiGANは、識別情報を回復するために代入データのクラス正則化損失とともに、利用可能なマルチモーダルデータを共同でエンコードする欠落した代入フレームワークに条件付き潜在空間を導入します。私たちの知る限り、これは、画像データと非画像データの同時分布をモデル化することにより、マルチモーダルな欠落した代入に対処する最初の生成的敵対的モデルです。全国肺スクリーニング試験(NLST)データセットと外部の臨床検証コホートの両方を使用してモデルを検証します。提案されたC-PBiGANは、代表的な代入方法と比較して、肺がんリスク推定の大幅な改善を達成します(たとえば、AUC値はPBiGANと比較してNLST(+ 2.9%)と社内データセット(+ 4.3%)の両方で増加します、p <0.05) 。
Data from multi-modality provide complementary information in clinical prediction, but missing data in clinical cohorts limits the number of subjects in multi-modal learning context. Multi-modal missing imputation is challenging with existing methods when 1) the missing data span across heterogeneous modalities (e.g., image vs. non-image); or 2) one modality is largely missing. In this paper, we address imputation of missing data by modeling the joint distribution of multi-modal data. Motivated by partial bidirectional generative adversarial net (PBiGAN), we propose a new Conditional PBiGAN (C-PBiGAN) method that imputes one modality combining the conditional knowledge from another modality. Specifically, C-PBiGAN introduces a conditional latent space in a missing imputation framework that jointly encodes the available multi-modal data, along with a class regularization loss on imputed data to recover discriminative information. To our knowledge, it is the first generative adversarial model that addresses multi-modal missing imputation by modeling the joint distribution of image and non-image data. We validate our model with both the national lung screening trial (NLST) dataset and an external clinical validation cohort. The proposed C-PBiGAN achieves significant improvements in lung cancer risk estimation compared with representative imputation methods (e.g., AUC values increase in both NLST (+2.9%) and in-house dataset (+4.3%) compared with PBiGAN, p<0.05).