初めて、T1 重み付け (T1w) MRI の分類に、Multiple Instance Neuroimage Transformer (MINiT) と呼ばれる、複数インスタンス学習ベースの畳み込みのないトランスフォーマー モデルを使用することを提案します。最初に、ニューロイメージに採用されたトランスモデルのいくつかのバリアントを提示します。これらのモデルは、入力ボリュームから重複しない 3D ブロックを抽出し、一連の線形投影に対してマルチヘッド セルフアテンションを実行します。一方、MINiT は、入力 MRI の重複しない 3D ブロックのそれぞれを独自のインスタンスとして扱い、それを重複しない 3D パッチにさらに分割します。概念実証として、2 つの公開データセットの T1w-MRI から性別を識別するようにモデルをトレーニングすることにより、モデルの有効性を評価します。思春期の脳認知発達 (ABCD) および思春期におけるアルコールと神経発達に関する全国コンソーシアム (NCANDA) .学習された注意マップは、脳の形態計測における性差の識別に寄与するボクセルを強調表示します。コードは https://github.com/singlaayush/MINIT で入手できます。
For the first time, we propose using a multiple instance learning based convolution-free transformer model, called Multiple Instance Neuroimage Transformer (MINiT), for the classification of T1weighted (T1w) MRIs. We first present several variants of transformer models adopted for neuroimages. These models extract non-overlapping 3D blocks from the input volume and perform multi-headed self-attention on a sequence of their linear projections. MINiT, on the other hand, treats each of the non-overlapping 3D blocks of the input MRI as its own instance, splitting it further into non-overlapping 3D patches, on which multi-headed self-attention is computed. As a proof-of-concept, we evaluate the efficacy of our model by training it to identify sex from T1w-MRIs of two public datasets: Adolescent Brain Cognitive Development (ABCD) and the National Consortium on Alcohol and Neurodevelopment in Adolescence (NCANDA). The learned attention maps highlight voxels contributing to identifying sex differences in brain morphometry. The code is available at https://github.com/singlaayush/MINIT.