この論文では、マルチモーダル脳ネットワーク分析のためのシンプルで効果的なマルチプレックスグラフ畳み込みネットワーク(GCN)モデルであるMGNetを提案します。提案された方法は、テンソル表現をマルチプレックスGCNモデルに統合して、マルチモーダル脳ネットワークのセットの潜在構造を抽出します。これにより、マルチモーダルデータの共通空間を直感的に「把握」できます。次に、マルチモーダル表現がマルチプレックスGCNで生成され、特定のグラフ構造がキャプチャされます。 2つの挑戦的な実世界のデータセット(HIVと双極性障害)で分類タスクを実行し、提案されたMGNetは、競合するベンチマーク手法と比較して最先端のパフォーマンスを示します。客観的な評価とは別に、この研究は、さまざまなモダリティでの人間のコネクトームの理解に対するネットワーク理論に特別な重要性をもたらす可能性があります。コードはhttps://github.com/ZhaomingKong/MGNetsで入手できます。
In this paper, we propose MGNet, a simple and effective multiplex graph convolutional network (GCN) model for multimodal brain network analysis. The proposed method integrates tensor representation into the multiplex GCN model to extract the latent structures of a set of multimodal brain networks, which allows an intuitive 'grasping' of the common space for multimodal data. Multimodal representations are then generated with multiplex GCNs to capture specific graph structures. We conduct classification task on two challenging real-world datasets (HIV and Bipolar disorder), and the proposed MGNet demonstrates state-of-the-art performance compared to competitive benchmark methods. Apart from objective evaluations, this study may bear special significance upon network theory to the understanding of human connectome in different modalities. The code is available at https://github.com/ZhaomingKong/MGNets.