機能的磁気共鳴画像法(fMRI)は、被験者が休息するか、さまざまな条件下でさまざまな機能的タスクを実行している間に、被験者の脳内の血中酸素レベルをキャプチャする神経画像診断法です。 fMRIデータを考えると、タスク状態のデコードと呼ばれるタスクの推測の問題は、データに固有の高次元(データごとに数億のサンプリングポイント)と複雑な時空間血流パターンのために困難です。この作業では、4D時空間分類問題としてキャストすることにより、fMRIタスク状態のデコード問題に取り組むことを提案します。脳の出席とデコード(BAnD)と呼ばれる新しいアーキテクチャを提示します。これは、空間的特徴抽出に残差畳み込みニューラルネットワークを使用し、時間的モデリングに自己注意メカニズムを使用します。大規模なヒューマンコネクトームプロジェクト-ヤングアダルト(HCP-YA)データセットからの7タスクベンチマークでの以前の作業と比較して、大幅なパフォーマンスの向上を達成しています。また、空間特徴抽出レイヤーをフリーズして時間モデルを再トレーニングするか、モデル全体を微調整することにより、見えないHCPタスクでのBAnDの抽出された特徴の転送可能性を調査します。 BAnDの事前トレーニング済みの機能は、同様のタスクで役立ちますが、それらを微調整すると、目に見えないタスク/条件で競争力のある結果が得られます。
Functional magnetic resonance imaging (fMRI) is a neuroimaging modality that captures the blood oxygen level in a subject's brain while the subject either rests or performs a variety of functional tasks under different conditions. Given fMRI data, the problem of inferring the task, known as task state decoding, is challenging due to the high dimensionality (hundreds of million sampling points per datum) and complex spatio-temporal blood flow patterns inherent in the data. In this work, we propose to tackle the fMRI task state decoding problem by casting it as a 4D spatio-temporal classification problem. We present a novel architecture called Brain Attend and Decode (BAnD), that uses residual convolutional neural networks for spatial feature extraction and self-attention mechanisms for temporal modeling. We achieve significant performance gain compared to previous works on a 7-task benchmark from the large-scale Human Connectome Project-Young Adult (HCP-YA) dataset. We also investigate the transferability of BAnD's extracted features on unseen HCP tasks, either by freezing the spatial feature extraction layers and retraining the temporal model, or finetuning the entire model. The pre-trained features from BAnD are useful on similar tasks while finetuning them yields competitive results on unseen tasks/conditions.