arXiv reaDer
教師と学生の学習を使用して高解像度の脳ネットワークを予測するためのドメイン間アライメント
Inter-Domain Alignment for Predicting High-Resolution Brain Networks Using Teacher-Student Learning
正確で自動化された超解像画像合成は、高コストの医用スキャンと時間のかかる神経画像データの前処理パイプラインを取得する必要性を回避する大きな可能性を秘めているため、非常に望まれています。ただし、既存の深層学習フレームワークは、低解像度(LR)画像から高解像度(HR)画像を予測するためだけに設計されているため、脳グラフ(コネクトーム)への一般化能力が制限されます。小さな一連の作業は、単一のLRグラフからHRグラフを予測することを目標とする超解像脳グラフに焦点を合わせています。有望ではありますが、既存の作業は主に同じドメインに属する超解像グラフ(機能など)に焦点を当てており、マルチモーダル脳データ分布(形態学的および構造的など)の間に存在するドメインの破壊を見落としています。この目的のために、我々は新しいドメイン間適応フレームワーク、すなわち、脳グラフを超解像するために教師と学生のパラダイムを採用する知識蒸留ネットワーク(L2S-KDnet)で脳グラフを超解像することを学ぶことを提案します。私たちの教師ネットワークはグラフエンコーダーデコーダーであり、最初にLR脳グラフ埋め込みを学習し、次に敵対的正則化を使用して結果の潜在表現をHRグラウンドトゥルースデータ分布に合わせる方法を学習します。最終的には、整列された埋め込みからHRグラフをデコードします。次に、私たちの学生ネットワークは、整列された脳グラフの知識と、教師から転送された予測HRグラフのトポロジー構造を学習します。さらに、教師のデコーダーを活用して、生徒のネットワークを最適化します。 L2S-KDnetは、ドメイン間アラインメントに基づく脳グラフ超解像合成用に調整された最初のTSアーキテクチャを提供します。私たちの実験結果は、ベンチマーク手法よりも大幅なパフォーマンスの向上を示しています。
Accurate and automated super-resolution image synthesis is highly desired since it has the great potential to circumvent the need for acquiring high-cost medical scans and a time-consuming preprocessing pipeline of neuroimaging data. However, existing deep learning frameworks are solely designed to predict high-resolution (HR) image from a low-resolution (LR) one, which limits their generalization ability to brain graphs (i.e., connectomes). A small body of works has focused on superresolving brain graphs where the goal is to predict a HR graph from a single LR graph. Although promising, existing works mainly focus on superresolving graphs belonging to the same domain (e.g., functional), overlooking the domain fracture existing between multimodal brain data distributions (e.g., morphological and structural). To this aim, we propose a novel inter-domain adaptation framework namely, Learn to SuperResolve Brain Graphs with Knowledge Distillation Network (L2S-KDnet), which adopts a teacher-student paradigm to superresolve brain graphs. Our teacher network is a graph encoder-decoder that firstly learns the LR brain graph embeddings, and secondly learns how to align the resulting latent representations to the HR ground truth data distribution using an adversarial regularization. Ultimately, it decodes the HR graphs from the aligned embeddings. Next, our student network learns the knowledge of the aligned brain graphs as well as the topological structure of the predicted HR graphs transferred from the teacher. We further leverage the decoder of the teacher to optimize the student network. L2S-KDnet presents the first TS architecture tailored for brain graph super-resolution synthesis that is based on inter-domain alignment. Our experimental results demonstrate substantial performance gains over benchmark methods.
updated: Wed Oct 06 2021 09:31:44 GMT+0000 (UTC)
published: Wed Oct 06 2021 09:31:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト