最近の研究では、さまざまな顔の属性編集アプリケーションを可能にする生成的敵対的ネットワーク(GAN)の潜在空間に、豊富なセマンティック方向のセットが存在することが示されています。ただし、既存の方法では、属性のバリエーションの解きほぐしが不十分であり、目的の属性を変更するときに他の属性が不要に変更される可能性があります。既存の方法で使用されるセマンティック方向は属性レベルであり、特にGANのトレーニングセットに属性分布バイアスが存在する場合、複雑な属性相関をモデル化することは困難です。この論文では、インスタンス認識潜在空間検索を実行して、解きほぐされた属性編集のセマンティックな方向を見つける新しいフレームワーク(IALS)を提案します。インスタンス情報は、入力画像で評価された属性分類子のセットからの監視を活用することによって注入されます。さらに、属性変換と解きほぐしの有効性を定量化し、それに基づいて属性レベルとインスタンス固有の方向の間の最適な制御係数を見つけるために、解きほぐし変換(DT)メトリックを提案します。 GANで生成された画像と実世界の画像の両方での実験結果は、私たちの方法が最近提案された最先端の方法を大幅に上回っていることをまとめて示しています。コードはhttps://github.com/yxuhan/IALSで入手できます。
Recent works have shown that a rich set of semantic directions exist in the latent space of Generative Adversarial Networks (GANs), which enables various facial attribute editing applications. However, existing methods may suffer poor attribute variation disentanglement, leading to unwanted change of other attributes when altering the desired one. The semantic directions used by existing methods are at attribute level, which are difficult to model complex attribute correlations, especially in the presence of attribute distribution bias in GAN's training set. In this paper, we propose a novel framework (IALS) that performs Instance-Aware Latent-Space Search to find semantic directions for disentangled attribute editing. The instance information is injected by leveraging the supervision from a set of attribute classifiers evaluated on the input images. We further propose a Disentanglement-Transformation (DT) metric to quantify the attribute transformation and disentanglement efficacy and find the optimal control factor between attribute-level and instance-specific directions based on it. Experimental results on both GAN-generated and real-world images collectively show that our method outperforms state-of-the-art methods proposed recently by a wide margin. Code is available at https://github.com/yxuhan/IALS.