arXiv reaDer
MultiCrossViT: 構造 MRI と機能ネットワーク接続データを使用した統合失調症予測のためのマルチモーダル ビジョン トランスフォーマー
MultiCrossViT: Multimodal Vision Transformer for Schizophrenia Prediction using Structural MRI and Functional Network Connectivity Data
Vision Transformer (ViT) は、画像分類やオブジェクト認識など、実世界のコンピューター ビジョンの問題に対処できる先駆的なディープ ラーニング フレームワークです。重要なことに、ViT は、畳み込みニューラル ネットワーク (CNN) などの従来の深層学習モデルよりも優れていることが証明されています。比較的最近、多くの ViT 変異が医用画像の分野に移植され、特に脳画像データに関して、さまざまな重要な分類およびセグメンテーションの課題が解決されました。この作業では、統合失調症の予測のために、構造 MRI (sMRI) と静的機能ネットワーク接続 (sFNC) データの両方を分析できる、新しいマルチモーダル ディープ ラーニング パイプラインである MultiCrossViT を提供します。トレーニング対象が最小限のデータセットでは、新しいモデルは 0.832 の AUC を達成できます。最後に、トランスエンコーダーから特徴を抽出することにより、結果のViTアテンションマップに基づいて、統合失調症に最も関連する複数の脳領域と共分散パターンを視覚化します。
Vision Transformer (ViT) is a pioneering deep learning framework that can address real-world computer vision issues, such as image classification and object recognition. Importantly, ViTs are proven to outperform traditional deep learning models, such as convolutional neural networks (CNNs). Relatively recently, a number of ViT mutations have been transplanted into the field of medical imaging, thereby resolving a variety of critical classification and segmentation challenges, especially in terms of brain imaging data. In this work, we provide a novel multimodal deep learning pipeline, MultiCrossViT, which is capable of analyzing both structural MRI (sMRI) and static functional network connectivity (sFNC) data for the prediction of schizophrenia disease. On a dataset with minimal training subjects, our novel model can achieve an AUC of 0.832. Finally, we visualize multiple brain regions and covariance patterns most relevant to schizophrenia based on the resulting ViT attention maps by extracting features from transformer encoders.
updated: Sat Nov 12 2022 19:07:25 GMT+0000 (UTC)
published: Sat Nov 12 2022 19:07:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト