arXiv reaDer
Image Difficulty Curriculum for Generative Adversarial Networks (CuGAN)
  近年の著しい進歩にもかかわらず、Generative Adversarial Networks(GAN)はまだ訓練が難しいことで有名です。このペーパーでは、GANをトレーニングするための3つの新しいカリキュラム学習戦略を提案します。すべての戦略は、まず、最新の画像難易度予測によって推定される難易度スコアによるトレーニング画像のランク付けに基づいています。最初の戦略は、画像を徐々に困難なバッチに分割することです。 2番目の戦略では、実際の画像の難易度スコアを考慮に入れた弁別者向けの新しいカリキュラム損失関数を導入します。 3番目の戦略は、進化する分布からのサンプリングに基づいています。これは、最初のトレーニング段階でより簡単な画像を優先し、徐々に均一な分布に収束します。カリキュラムの学習戦略と、画像生成と画像翻訳の2つのタスクに関する従来のトレーニング手順を比較します。私たちの実験は、すべての戦略がより速い収束と優れた結果を提供することを示しています。たとえば、スペクトルで正規化されたGAN(SNGAN)に適用された最高のカリキュラム学習戦略は、CIFARのような画像を生成したことが実際のケースの25.0%であり、従来の手順を使用して訓練されたSNGANは18.4%のケース。同様に、画像の翻訳では、人間の注釈者は、40.5%のケースでカリキュラム学習を使用してトレーニングされたCycle-consistent GAN(CycleGAN)によって生成された画像と、19.8%のケースでのみ古典的なトレーニングに基づいてCycleGANによって生成された画像を好み、39.7%のケースがラベル付けされました絆として。
Despite the significant advances in recent years, Generative Adversarial Networks (GANs) are still notoriously hard to train. In this paper, we propose three novel curriculum learning strategies for training GANs. All strategies are first based on ranking the training images by their difficulty scores, which are estimated by a state-of-the-art image difficulty predictor. Our first strategy is to divide images into gradually more difficult batches. Our second strategy introduces a novel curriculum loss function for the discriminator that takes into account the difficulty scores of the real images. Our third strategy is based on sampling from an evolving distribution, which favors the easier images during the initial training stages and gradually converges to a uniform distribution, in which samples are equally likely, regardless of difficulty. We compare our curriculum learning strategies with the classic training procedure on two tasks: image generation and image translation. Our experiments indicate that all strategies provide faster convergence and superior results. For example, our best curriculum learning strategy applied on spectrally normalized GANs (SNGANs) fooled human annotators in thinking that generated CIFAR-like images are real in 25.0% of the presented cases, while the SNGANs trained using the classic procedure fooled the annotators in only 18.4% cases. Similarly, in image translation, the human annotators preferred the images produced by the Cycle-consistent GAN (CycleGAN) trained using curriculum learning in 40.5% cases and those produced by CycleGAN based on classic training in only 19.8% cases, 39.7% cases being labeled as ties.
updated: Tue Oct 22 2019 22:19:01 GMT+0000 (UTC)
published: Sun Oct 20 2019 13:06:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト