arXiv reaDer
解きほぐされた敵対的推論による医用画像の条件付き生成
Conditional Generation of Medical Images via Disentangled Adversarial Inference
合成医用画像の生成は、機械学習システムをトレーニングするためのデータ拡張から患者のプライバシーの保護まで、多くのアプリケーションを通じて医療を改善する大きな可能性を秘めています。条件付き敵対的生成ネットワーク(cGAN)は、条件付け係数を使用して画像を生成し、近年大きな成功を収めています。直感的には、画像内の情報は2つの部分に分けることができます:1)条件付けベクトルを介して提示されるコンテンツと2)条件付けベクトルから欠落している未発見の情報であるスタイル。医用画像生成にcGANを使用する現在の慣行では、画像生成に単一の変数(つまり、コンテンツ)のみを使用するため、生成された画像に対する柔軟性や制御はあまり提供されません。この作品では、画像自体、スタイルとコンテンツの解きほぐされた表現から学習する方法論を提案し、この情報を使用して生成プロセスを制御します。このフレームワークでは、スタイルは完全に教師なしで学習されますが、コンテンツは教師あり学習(条件付けベクトルを使用)と教師なし学習(推論メカニズムを使用)の両方で学習されます。コンテンツスタイルのもつれを確実に解くために、2つの新しい正則化ステップを実行します。まず、グラデーションリバースレイヤー(GRL)の新しいアプリケーションを導入することにより、コンテンツとスタイルの間で共有される情報を最小限に抑えます。次に、コンテンツ変数とスタイル変数の情報をさらに分離するための自己監視正則化手法を導入します。一般に、2つの潜在変数モデルがより良いパフォーマンスを達成し、生成された画像をより細かく制御できることを示します。また、提案されたモデル(DRAI)が最高の解きほぐしスコアを達成し、全体的なパフォーマンスが最高であることも示しています。
Synthetic medical image generation has a huge potential for improving healthcare through many applications, from data augmentation for training machine learning systems to preserving patient privacy. Conditional Adversarial Generative Networks (cGANs) use a conditioning factor to generate images and have shown great success in recent years. Intuitively, the information in an image can be divided into two parts: 1) content which is presented through the conditioning vector and 2) style which is the undiscovered information missing from the conditioning vector. Current practices in using cGANs for medical image generation, only use a single variable for image generation (i.e., content) and therefore, do not provide much flexibility nor control over the generated image. In this work we propose a methodology to learn from the image itself, disentangled representations of style and content, and use this information to impose control over the generation process. In this framework, style is learned in a fully unsupervised manner, while content is learned through both supervised learning (using the conditioning vector) and unsupervised learning (with the inference mechanism). We undergo two novel regularization steps to ensure content-style disentanglement. First, we minimize the shared information between content and style by introducing a novel application of the gradient reverse layer (GRL); second, we introduce a self-supervised regularization method to further separate information in the content and style variables. We show that in general, two latent variable models achieve better performance and give more control over the generated image. We also show that our proposed model (DRAI) achieves the best disentanglement score and has the best overall performance.
updated: Tue Dec 08 2020 22:10:04 GMT+0000 (UTC)
published: Tue Dec 08 2020 22:10:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト