合成画像の生成は、現在、生成的敵対的ネットワーク(GAN)によって支配されています。リアルな画像の生成に目覚ましい成功を収めているにもかかわらず、不安定で高感度のトレーニング手順、モードの崩壊とモードの混合、大規模なトレーニングセットへの依存など、大きな欠点があります。この作業では、GANの制限のいくつかを克服し、トレーニングデータが不足している場合にGANを上回る、新しい非敵対的生成手法である潜在空間のクラスター最適化(COLA)を紹介します。完全なデータ体制では、私たちの方法は、監視なしで多様なマルチクラス画像を生成することができ、画質と多様性の点で以前の非敵対的な方法を上回ります。ラベル付けされた画像のごく一部のサンプルのみがトレーニングに利用可能であり、追加のラベル付けされていないデータにアクセスできない小規模データ体制では、同じ量のデータでトレーニングされた最先端のGANモデルを超える結果が得られます。最後に、モデルを利用して小さなデータセットを拡張すると、CIFAR-10、CIFAR-100、STL-10、Tiny-ImageNetなどの難しいデータセットでの小さなサンプル分類タスクの最先端のパフォーマンスを上回ります。メソッドの本質をサポートする理論的分析が提示されます。
The generation of synthetic images is currently being dominated by Generative Adversarial Networks (GANs). Despite their outstanding success in generating realistic looking images, they still suffer from major drawbacks, including an unstable and highly sensitive training procedure, mode-collapse and mode-mixture, and dependency on large training sets. In this work we present a novel non-adversarial generative method - Clustered Optimization of LAtent space (COLA), which overcomes some of the limitations of GANs, and outperforms GANs when training data is scarce. In the full data regime, our method is capable of generating diverse multi-class images with no supervision, surpassing previous non-adversarial methods in terms of image quality and diversity. In the small-data regime, where only a small sample of labeled images is available for training with no access to additional unlabeled data, our results surpass state-of-the-art GAN models trained on the same amount of data. Finally, when utilizing our model to augment small datasets, we surpass the state-of-the-art performance in small-sample classification tasks on challenging datasets, including CIFAR-10, CIFAR-100, STL-10 and Tiny-ImageNet. A theoretical analysis supporting the essence of the method is presented.