Generative Adversarial Networks (GAN) は、高品質の顔画像を合成できます。その成功にもかかわらず、GAN は入力ベクトルと生成された画像との関係に関する情報を提供しません。現在、顔の GAN は不均衡なデータセットでトレーニングされているため、生成される画像の多様性が低くなります。たとえば、StyleGAN3 を使用してランダムに合成した 10 万枚の画像の 77% 以上が Happy に分類され、Angry に分類されるのは約 3% のみです。顔の属性の混合が必要な場合、問題はさらに悪化します。生成されたサンプルの 1% 未満が Angry Woman であり、約 2% だけが Happy Black です。これらの問題に対処するために、この論文では、十分に訓練された GAN の潜在空間の分析と操作のために、GANalyzer と呼ばれるフレームワークを提案します。 GANalyzer は、顔の表情、年齢、性別、人種などの特定の顔属性の潜在ベクトルを操作するように設計された一連の変換関数で構成されています。 GANの潜在空間における顔属性のもつれを分析し、提案された変換を適用して、絡み合っていない顔属性を編集します。私たちの実験結果は、顔の属性を編集し、必要な顔を生成する際のGANalyzerの強みを示しています。また、バランスのとれた写実的な人間の顔のデータセットを作成して公開しています。コードは GitHub で公開されています。
Generative Adversarial Networks (GANs) are capable of synthesizing high-quality facial images. Despite their success, GANs do not provide any information about the relationship between the input vectors and the generated images. Currently, facial GANs are trained on imbalanced datasets, which generate less diverse images. For example, more than 77% of 100K images that we randomly synthesized using the StyleGAN3 are classified as Happy, and only around 3% are Angry. The problem even becomes worse when a mixture of facial attributes is desired: less than 1% of the generated samples are Angry Woman, and only around 2% are Happy Black. To address these problems, this paper proposes a framework, called GANalyzer, for the analysis, and manipulation of the latent space of well-trained GANs. GANalyzer consists of a set of transformation functions designed to manipulate latent vectors for a specific facial attribute such as facial Expression, Age, Gender, and Race. We analyze facial attribute entanglement in the latent space of GANs and apply the proposed transformation for editing the disentangled facial attributes. Our experimental results demonstrate the strength of GANalyzer in editing facial attributes and generating any desired faces. We also create and release a balanced photo-realistic human face dataset. Our code is publicly available on GitHub.