arXiv reaDer
Noise-to-ImageとImage-to-Image GANの組み合わせ:腫瘍検出のための脳MR画像増強
Combining Noise-to-Image and Image-to-Image GANs: Brain MR Image Augmentation for Tumor Detection
  畳み込みニューラルネットワーク(CNN)は、十分な注釈付きトレーニングデータを使用して、優れたコンピューター支援診断を実現します。ただし、ほとんどの医療画像データセットは小さく、断片化されています。これに関連して、Generative Adversarial Networks(GAN)は、現実的/多様な追加のトレーニング画像を合成して、実際の画像分布のデータ不足を埋めることができます。研究者は、ノイズから画像へのデータ(たとえば、さまざまな病理画像に対するランダムノイズサンプル)または画像から画像へのGAN(たとえば、良性の画像から悪性のものへ)を追加することにより、分類を改善しました。それでも、パフォーマンスをさらに向上させるために、ノイズから画像への変換と画像から画像への変換を組み合わせた結果を報告した研究はありません。したがって、GANの組み合わせでDA効果を最大化するために、腫瘍の有無にかかわらず脳の磁気共鳴(MR)画像を個別に生成および改良する2ステップのGANベースのDAを提案します:(i)Progressive Growing of GAN(PGGAN)、高解像度のMR画像生成のための多段階のノイズから画像へのGANは、最初に現実的/多様な256 X 256画像を生成します。 (ii)GAN / Variational AutoEncodersまたはDAに焦点を当てたGAN損失を使用するSimGANを組み合わせたマルチモーダルの監視なし画像から画像への変換(MUNIT)は、実際のものと同様にPGGANで生成された画像のテクスチャ/形状をさらに洗練します。 CNNベースの腫瘍分類結果を徹底的に調査し、ImageNetへの事前トレーニングの影響も考慮し、奇妙なGAN生成画像を破棄します。結果は、従来のDAと組み合わせた場合、2ステップのGANベースのDAは、腫瘍検出(つまり、感度を93.67%から97.48%に高める)およびその他の医療画像処理において、従来のDAのみを大幅に上回ることができることを示しています。
Convolutional Neural Networks (CNNs) achieve excellent computer-assisted diagnosis with sufficient annotated training data. However, most medical imaging datasets are small and fragmented. In this context, Generative Adversarial Networks (GANs) can synthesize realistic/diverse additional training images to fill the data lack in the real image distribution; researchers have improved classification by augmenting data with noise-to-image (e.g., random noise samples to diverse pathological images) or image-to-image GANs (e.g., a benign image to a malignant one). Yet, no research has reported results combining noise-to-image and image-to-image GANs for further performance boost. Therefore, to maximize the DA effect with the GAN combinations, we propose a two-step GAN-based DA that generates and refines brain Magnetic Resonance (MR) images with/without tumors separately: (i) Progressive Growing of GANs (PGGANs), multi-stage noise-to-image GAN for high-resolution MR image generation, first generates realistic/diverse 256 X 256 images; (ii) Multimodal UNsupervised Image-to-image Translation (MUNIT) that combines GANs/Variational AutoEncoders or SimGAN that uses a DA-focused GAN loss, further refines the texture/shape of the PGGAN-generated images similarly to the real ones. We thoroughly investigate CNN-based tumor classification results, also considering the influence of pre-training on ImageNet and discarding weird-looking GAN-generated images. The results show that, when combined with classic DA, our two-step GAN-based DA can significantly outperform the classic DA alone, in tumor detection (i.e., boosting sensitivity 93.67% to 97.48%) and also in other medical imaging tasks.
updated: Wed Oct 09 2019 12:20:15 GMT+0000 (UTC)
published: Fri May 31 2019 08:14:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト