脳の磁気共鳴画像からアルツハイマー病を診断する以前の研究は、畳み込みニューラルネットワーク(CNN)が患者を分類するために高次元画像情報を活用できることを確立しました。ただし、これらのモデルが、患者の人口統計や検査室での測定など、通常は低次元の表形式の情報をどのように利用できるかに焦点を当てた研究はほとんどありません。患者の表形式の臨床情報を条件として、畳み込み層の特徴マップを動的に再スケーリングおよびシフトするCNNの汎用モジュールであるDynamic Affine Feature Map Transform(DAFT)を紹介します。 DAFTは、診断と認知症までの時間の予測のために3D画像と表形式の情報を組み合わせるのに非常に効果的であり、平均バランス精度0.622と平均c-index0.748で競合するCNNよりも優れていることを示します。私たちの広範なアブレーション研究は、DAFTのアーキテクチャ特性に関する貴重な洞察を提供します。私たちの実装はhttps://github.com/ai-med/DAFTで入手できます。
Prior work on diagnosing Alzheimer's disease from magnetic resonance images of the brain established that convolutional neural networks (CNNs) can leverage the high-dimensional image information for classifying patients. However, little research focused on how these models can utilize the usually low-dimensional tabular information, such as patient demographics or laboratory measurements. We introduce the Dynamic Affine Feature Map Transform (DAFT), a general-purpose module for CNNs that dynamically rescales and shifts the feature maps of a convolutional layer, conditional on a patient's tabular clinical information. We show that DAFT is highly effective in combining 3D image and tabular information for diagnosis and time-to-dementia prediction, where it outperforms competing CNNs with a mean balanced accuracy of 0.622 and mean c-index of 0.748, respectively. Our extensive ablation study provides valuable insights into the architectural properties of DAFT. Our implementation is available at https://github.com/ai-med/DAFT.