arXiv reaDer
多様体のもつれを解くことによる医用画像翻訳の操作
Manipulating Medical Image Translation with Manifold Disentanglement
医用画像の翻訳(CTからMRなど)は、I)ドメイン不変の特徴(解剖学的構造の形状情報など)の忠実な翻訳、およびII)ターゲットドメインの特徴(MRでの組織の外観など)の現実的な合成を必要とするため、困難な作業です。 。この作業では、これら2つのタイプの機能を明示的にモデル化する新しい画像変換フレームワークである多様体解きほぐし生成的敵対的ネットワーク(MDGAN)を提案します。完全畳み込みジェネレーターを使用してドメイン不変の特徴をモデル化し、スタイルコードを使用してターゲットドメインの特徴を多様体として個別にモデル化します。この設計は、ドメイン不変の機能とドメイン固有の機能を明示的に解きほぐし、両方を個別に制御することを目的としています。画像変換プロセスは、入力が学習された多様体からサンプリングされたスタイルコードに基づいて多様なターゲットドメイン画像に「定型化」(変換)される定型化タスクとして定式化されます。マルチモーダル医用画像変換についてMDGANをテストします。ここでは、多様体上に2つのドメイン固有の多様体クラスターを作成して、セグメンテーションマップをそれぞれ疑似CT画像と疑似MR画像に変換します。 MRマニホールドクラスターを横切るパスをトラバースすることにより、入力からの形状情報を保持しながら、ターゲット出力を操作できることを示します。
Medical image translation (e.g. CT to MR) is a challenging task as it requires I) faithful translation of domain-invariant features (e.g. shape information of anatomical structures) and II) realistic synthesis of target-domain features (e.g. tissue appearance in MR). In this work, we propose Manifold Disentanglement Generative Adversarial Network (MDGAN), a novel image translation framework that explicitly models these two types of features. It employs a fully convolutional generator to model domain-invariant features, and it uses style codes to separately model target-domain features as a manifold. This design aims to explicitly disentangle domain-invariant features and domain-specific features while gaining individual control of both. The image translation process is formulated as a stylisation task, where the input is "stylised" (translated) into diverse target-domain images based on style codes sampled from the learnt manifold. We test MDGAN for multi-modal medical image translation, where we create two domain-specific manifold clusters on the manifold to translate segmentation maps into pseudo-CT and pseudo-MR images, respectively. We show that by traversing a path across the MR manifold cluster, the target output can be manipulated while still retaining the shape information from the input.
updated: Fri Nov 27 2020 09:11:52 GMT+0000 (UTC)
published: Fri Nov 27 2020 09:11:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト