以前の研究では、無条件の画像合成のためにGANの潜在空間構造を広く研究しており、解釈可能な潜在方向の教師なし発見によって生成された画像のグローバル編集を可能にしています。ただし、セマンティック イメージ合成 (SIS) の条件付き GAN の潜在的な方向性の発見は未踏のままです。この作業では、特にこのギャップに対処することに焦点を当てています。事前トレーニング済みの SIS モデルの潜在空間で空間的に解きほぐされたクラス固有の方向を見つけるための新しい最適化方法を提案します。私たちの方法によって発見された潜在的な方向が、意味クラスの局所的な外観を効果的に制御できることを示します。たとえば、内部構造、テクスチャ、または色を互いに独立して変更します。さまざまなデータセットで発見されたGANコントロールの目視検査と定量的評価は、私たちの方法がクラス固有の編集のためのユニークで意味的に意味のある潜在的な方向の多様なセットを発見することを示しています.
Prior work has extensively studied the latent space structure of GANs for unconditional image synthesis, enabling global editing of generated images by the unsupervised discovery of interpretable latent directions. However, the discovery of latent directions for conditional GANs for semantic image synthesis (SIS) has remained unexplored. In this work, we specifically focus on addressing this gap. We propose a novel optimization method for finding spatially disentangled class-specific directions in the latent space of pretrained SIS models. We show that the latent directions found by our method can effectively control the local appearance of semantic classes, e.g., changing their internal structure, texture or color independently from each other. Visual inspection and quantitative evaluation of the discovered GAN controls on various datasets demonstrate that our method discovers a diverse set of unique and semantically meaningful latent directions for class-specific edits.