神経変性疾患を研究するために、ボランティア患者を対象に縦断的研究が行われています。数か月から数年の期間中、彼らは定期的な医療訪問を経て、生物学的サンプル、認知テスト、構造的および機能的イメージングなどのさまざまなモダリティからデータを取得します。これらの変数は不均一ですが、すべて患者の健康状態に依存します。つまり、すべてのモダリティ間に未知の関係がある可能性があります。一部の情報は一部のモダリティに固有である場合があり、その他は補完的である場合があり、その他は冗長である場合があります。一部のデータも欠落している可能性があります。この作業では、マルチモーダル学習のためのニューラルネットワークアーキテクチャを紹介します。2つの時点からのイメージングと臨床データを使用して神経変性疾患の進展を予測でき、欠測値に対してロバストです。当社のマルチモーダルネットワークは、57人の被験者のテストセットで92.5%の精度と0.978のAUCスコアを達成しています。また、臨床モダリティのみを使用したモデルと比較して、テストセットの被験者の臨床測定における欠落値の最大37.5%について、マルチモーダルアーキテクチャの優位性を示します。
To study neurodegenerative diseases, longitudinal studies are carried on volunteer patients. During a time span of several months to several years, they go through regular medical visits to acquire data from different modalities, such as biological samples, cognitive tests, structural and functional imaging. These variables are heterogeneous but they all depend on the patient's health condition, meaning that there are possibly unknown relationships between all modalities. Some information may be specific to some modalities, others may be complementary, and others may be redundant. Some data may also be missing. In this work we present a neural network architecture for multimodal learning, able to use imaging and clinical data from two time points to predict the evolution of a neurodegenerative disease, and robust to missing values. Our multimodal network achieves 92.5% accuracy and an AUC score of 0.978 over a test set of 57 subjects. We also show the superiority of the multimodal architecture, for up to 37.5% of missing values in test set subjects' clinical measurements, compared to a model using only the clinical modality.