ニューロ イメージング解析では、fMRI は明らかな構造的病変のない脳疾患の機能変化を十分に評価できます。今日まで、ほとんどの深層学習ベースの fMRI 研究では、疾患分類の基本的な特徴として機能的結合 (FC) が採用されてきました。ただし、FC は、事前定義された関心領域の時系列で計算され、各ボクセルに含まれる詳細情報を無視します。 FC を使用するもう 1 つの欠点は、ディープ モデルのトレーニングのサンプル サイズが限られていることです。 FC の低い表現能力は、特に複数の種類の視覚信号と脳疾患のテキスト記録を含むマルチモーダル医療データを扱う場合に、臨床現場でのパフォーマンスの低下につながります。 fMRI機能モダリティにおけるこのボトルネックの問題を克服するために、単一のfMRIボリュームを使用した脳疾患分類のためのエンドツーエンドの機能的相互作用学習方法であるBrainFormerを提案します。 FC で畳み込みとトランスフォーマーを構築する従来の深層学習方法とは異なり、BrainFormer は、各ボクセル内のローカル キューを 3D 畳み込みでモデル化し、浅い層から特別に設計されたグローバルな注意メカニズムを使用して離れた領域間のグローバルな相関関係をキャプチャすることにより、fMRI 信号から機能的相互作用を学習します。深い層へ。一方、BrainFormer は、fMRI ボリューム、構造 MRI、FC 機能、表現型データなどのマルチモーダル医療データを処理して、より包括的な脳疾患診断を実現できます。自閉症、アルツハイマー病、うつ病、注意欠陥多動性障害、頭痛障害に関する 5 つの独立したマルチサイト データセットで BrainFormer を評価します。結果は、マルチモーダル機能を備えた複数の脳疾患診断の有効性と一般化可能性を示しています。 BrainFormer は、臨床診療におけるニューロ イメージングに基づく診断の精度を向上させ、fMRI 分析に関する将来の研究の動機となる可能性があります。
In neuroimaging analysis, fMRI can well assess the function changes for brain diseases with no obvious structural lesions. To date, most deep-learning-based fMRI studies have employed functional connectivity (FC) as the basic feature for disease classification. However, FC is calculated on time series of predefined regions of interest and neglects detailed information contained in each voxel. Another drawback of using FC is the limited sample size for the training of deep models. The low representation ability of FC leads to poor performance in clinical practice, especially when dealing with multimodal medical data involving multiple types of visual signals and textual records for brain diseases. To overcome this bottleneck problem in the fMRI feature modality, we propose BrainFormer, an end-to-end functional interaction learning method for brain disease classification with single fMRI volume. Unlike traditional deep learning methods that construct convolution and transformers on FC, BrainFormer learns the functional interaction from fMRI signals, by modeling the local cues within each voxel with 3D convolutions and capturing the global correlations among distant regions with specially designed global attention mechanisms from shallow layers to deep layers. Meanwhile, BrainFormer can deal with multimodal medical data including fMRI volume, structural MRI, FC features and phenotypic data to achieve more comprehensive brain disease diagnosis. We evaluate BrainFormer on five independent multi-site datasets on autism, Alzheimer's disease, depression, attention deficit hyperactivity disorder and headache disorders. The results demonstrate its effectiveness and generalizability for multiple brain diseases diagnosis with multimodal features. BrainFormer may promote precision of neuroimaging-based diagnosis in clinical practice and motivate future studies on fMRI analysis.