arXiv reaDer
モダリティ間およびモダリティ内の多重解像度脳グラフの位置合わせと合成のためのStairwayGraphNet
StairwayGraphNet for Inter- and Intra-modality Multi-resolution Brain Graph Alignment and Synthesis
マルチモダリティ医療データの合成は、補完的な知識を提供し、医師が正確な臨床的決定を下すのに役立ちます。有望ではありますが、既存のマルチモーダル脳グラフ合成フレームワークにはいくつかの制限があります。まず、それらは主に1つの問題(モダリティ内またはモダリティ間)のみに取り組み、一般化可能性をモダリティ間およびモダリティ内の同時合成に制限します。第2に、単一のモダリティ内(つまり、イントラ)で低解像度の脳グラフを超解像する手法はほとんどありませんが、モダリティ間グラフの超解像は、コストのかかるデータ収集と処理の必要性を回避できますが、未踏のままです。さらに重要なことに、ターゲットドメインとソースドメインの両方が異なる分布を持っている可能性があり、それがそれらの間でドメインの破壊を引き起こします。これらのギャップを埋めるために、マルチ解像度のStairwayGraphNet(SG-Net)フレームワークを提案して、特定のモダリティに基づいてターゲットグラフのモダリティを共同で推測し、ドメイン間およびドメイン内の両方で脳グラフを超解像します。私たちのSG-Netは、次の3つの主要な貢献に基づいています。(i)内部(例:形態機能)ドメインと内部(例:機能機能)ドメインの両方で、新しいグラフ生成敵対的ネットワークに基づいてソースグラフからターゲットグラフを予測する、(ii)時間と費用のかかるMRI処理ステップに頼らずに高解像度の脳グラフを生成し、(iii)モダリティ間アライナを使用してソース分布をグラウンドトゥルースグラフの分布と一致させることで、損失関数を緩和します。最適化。さらに、グラウンドトゥルース脳グラフのトポロジー構造をより正確に学習する際に両方のジェネレーターをガイドするために、新しいグラウンドトゥルース保存損失関数を設計します。多重解像度階段を使用してソースグラフからターゲット脳グラフを予測することに関する私たちの包括的な実験は、その変形および最先端の方法と比較して、私たちの方法のアウトパフォーマンスを示しました。
Synthesizing multimodality medical data provides complementary knowledge and helps doctors make precise clinical decisions. Although promising, existing multimodal brain graph synthesis frameworks have several limitations. First, they mainly tackle only one problem (intra- or inter-modality), limiting their generalizability to synthesizing inter- and intra-modality simultaneously. Second, while few techniques work on super-resolving low-resolution brain graphs within a single modality (i.e., intra), inter-modality graph super-resolution remains unexplored though this would avoid the need for costly data collection and processing. More importantly, both target and source domains might have different distributions, which causes a domain fracture between them. To fill these gaps, we propose a multi-resolution StairwayGraphNet (SG-Net) framework to jointly infer a target graph modality based on a given modality and super-resolve brain graphs in both inter and intra domains. Our SG-Net is grounded in three main contributions: (i) predicting a target graph from a source one based on a novel graph generative adversarial network in both inter (e.g., morphological-functional) and intra (e.g., functional-functional) domains, (ii) generating high-resolution brain graphs without resorting to the time consuming and expensive MRI processing steps, and (iii) enforcing the source distribution to match that of the ground truth graphs using an inter-modality aligner to relax the loss function to optimize. Moreover, we design a new Ground Truth-Preserving loss function to guide both generators in learning the topological structure of ground truth brain graphs more accurately. Our comprehensive experiments on predicting target brain graphs from source graphs using a multi-resolution stairway showed the outperformance of our method in comparison with its variants and state-of-the-art method.
updated: Wed Oct 06 2021 09:49:38 GMT+0000 (UTC)
published: Wed Oct 06 2021 09:49:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト