arXiv reaDer
BSD-GAN: Branched Generative Adversarial Network for Scale-Disentangled Representation Learning and Image Synthesis
BSD-GANを紹介します。BSD-GANは、無条件の生成的敵対的ネットワーク(GAN)が複数のスケールで画像表現を学習できるようにする、新しい多分岐およびスケールのもつれのないトレーニング方法で、幅広い生成および編集タスクに役立ちます。 BSD-GANの重要な機能は、トレーニング画像の解像度が高くなり、より細かいスケールの機能が明らかになるにつれて、ネットワークの幅と深さの両方を徐々にカバーして、複数のブランチでトレーニングされることです。具体的には、BSD-GANのジェネレータネットワークへの入力としての各ノイズベクトルは、意図的にいくつかのサブベクトルに分割され、それぞれが特定のスケールでの画像表現に対応し、学習するようにトレーニングされています。トレーニング中は、サブベクトルを1つずつ段階的に「フリーズ解除」します。トレーニングには新しい高解像度画像のセットが使用され、ネットワークレイヤーが追加されます。このような明示的なサブベクトル指定の結果は、さまざまな特徴のスケールをモデル化する潜在的な(サブベクトル)コードを直接操作し、さらには組み合わせることができるということです。大規模な実験は、画像表現のスケールのもつれのない学習におけるトレーニング方法の有効性を実証し、余分なラベルがなく、合成された高解像度画像の品質を損なうことなく、新しい画像コンテンツの合成。さらに、BSD-GANによって有効化または改善されたいくつかの画像生成および操作アプリケーションを示します。ソースコードはで入手できます。
We introduce BSD-GAN, a novel multi-branch and scale-disentangled training method which enables unconditional Generative Adversarial Networks (GANs) to learn image representations at multiple scales, benefiting a wide range of generation and editing tasks. The key feature of BSD-GAN is that it is trained in multiple branches, progressively covering both the breadth and depth of the network, as resolutions of the training images increase to reveal finer-scale features. Specifically, each noise vector, as input to the generator network of BSD-GAN, is deliberately split into several sub-vectors, each corresponding to, and is trained to learn, image representations at a particular scale. During training, we progressively "de-freeze" the sub-vectors, one at a time, as a new set of higher-resolution images is employed for training and more network layers are added. A consequence of such an explicit sub-vector designation is that we can directly manipulate and even combine latent (sub-vector) codes which model different feature scales.Extensive experiments demonstrate the effectiveness of our training method in scale-disentangled learning of image representations and synthesis of novel image contents, without any extra labels and without compromising quality of the synthesized high-resolution images. We further demonstrate several image generation and manipulation applications enabled or improved by BSD-GAN. Source codes are available at
updated: Tue Aug 04 2020 02:17:13 GMT+0000 (UTC)
published: Thu Mar 22 2018 17:07:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト