arXiv reaDer
Disentangled Representation Learning in Cardiac Image Analysis
  通常、医療画像は、特定の特性を画像化することによって変調された解剖学(および病理学)の空間情報を提供します。磁気共鳴画像法(MRI)やコンピューター断層撮影(CT)を含む多くの画像診断法は、この方法で解釈できます。さらに進んで、医用画像は自然に解剖学的構造を表すいくつかの空間的要因と画像化特性を示す要因を考慮していると考えることができます。ここでは、特に心臓画像に焦点を当てて、イメージングデータのこの分解(もつれ解除)表現を明示的に学習します。 2次元医療画像を空間解剖学的要因と非空間モダリティ要因に分解する空間分解ネットワーク(SDNet)を提案します。この高レベルの表現は、半教師付きセグメンテーション、マルチタスクセグメンテーションと回帰、画像間の合成など、いくつかの医療画像解析タスクに理想的に適していることを示しています。具体的には、ラベル付き画像の一部のみを使用して、モデルが完全に監視されたセグメンテーションモデルのパフォーマンスと一致することを示します。重要なことは、補助タスクを使用してマルチタスク設定でモデルをトレーニングする場合(既知の心臓指数への回帰など)、または異なるソースからマルチモーダルデータを集約する場合(例:一緒にプーリングする場合) MRIおよびCTデータ)。学習した因数分解の特性を調べるために、潜在空間算術演算を実行し、モダリティ係数を交換することにより、MRからCTを合成したり、その逆も可能であることを示します。また、画像固有の情報を保持する因子を使用して、入力モダリティを高精度で予測できることも示します。コードはで利用可能になります。
Typically, a medical image offers spatial information on the anatomy (and pathology) modulated by imaging specific characteristics. Many imaging modalities including Magnetic Resonance Imaging (MRI) and Computed Tomography (CT) can be interpreted in this way. We can venture further and consider that a medical image naturally factors into some spatial factors depicting anatomy and factors that denote the imaging characteristics. Here, we explicitly learn this decomposed (disentangled) representation of imaging data, focusing in particular on cardiac images. We propose Spatial Decomposition Network (SDNet), which factorises 2D medical images into spatial anatomical factors and non-spatial modality factors. We demonstrate that this high-level representation is ideally suited for several medical image analysis tasks, such as semi-supervised segmentation, multi-task segmentation and regression, and image-to-image synthesis. Specifically, we show that our model can match the performance of fully supervised segmentation models, using only a fraction of the labelled images. Critically, we show that our factorised representation also benefits from supervision obtained either when we use auxiliary tasks to train the model in a multi-task setting (e.g. regressing to known cardiac indices), or when aggregating multimodal data from different sources (e.g. pooling together MRI and CT data). To explore the properties of the learned factorisation, we perform latent-space arithmetic and show that we can synthesise CT from MR and vice versa, by swapping the modality factors. We also demonstrate that the factor holding image specific information can be used to predict the input modality with high accuracy. Code will be made available at
updated: Mon Sep 16 2019 10:59:29 GMT+0000 (UTC)
published: Fri Mar 22 2019 12:08:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト