敵対的生成ネットワーク (GAN) の潜在空間は、いくつかのサブスペース内で豊富なセマンティクスをエンコードすることが示されています。これらのサブスペースを識別するために、研究者は通常、合成データのコレクションから統計情報を分析し、識別されたサブスペースは画像属性をグローバルに制御する傾向があります (つまり、属性を操作すると画像全体が変更されます)。対照的に、この作品では、GAN 生成のより正確な制御を可能にする低ランクの部分空間が導入されています。具体的には、任意の画像と関心領域 (顔画像の目など) が与えられた場合、潜在空間をヤコビ行列で画像領域に関連付けることができ、次に低階数分解を使用して操作可能な潜在部分空間を発見します。 LowRankGAN と呼ぶにふさわしい、私たちのアプローチには 3 つの際立った強みがあります。まず、以前の研究の分析アルゴリズムと比較して、ヤコビアンの低ランク因数分解は、属性多様体の低次元表現を見つけることができ、画像編集をより正確で制御可能にします。第 2 に、低ランクの因数分解は必然的に属性のヌル スペースを生成し、その中で潜在コードを移動すると、関心のある外側の領域にのみ影響します。したがって、既存の方法のように空間マスクに依存することなく、属性ベクトルをヌル空間に射影することで、ローカル画像編集を簡単に実現できます。第三に、私たちの方法は、分析のために 1 つの画像からの局所領域で確実に機能し、他の画像にも適切に一般化できるため、実際に使用するのが非常に簡単です。さまざまなデータセットでトレーニングされた最先端の GAN モデル (StyleGAN2 および BigGAN を含む) に関する広範な実験により、LowRankGAN の有効性が実証されています。
The latent space of a Generative Adversarial Network (GAN) has been shown to encode rich semantics within some subspaces. To identify these subspaces, researchers typically analyze the statistical information from a collection of synthesized data, and the identified subspaces tend to control image attributes globally (i.e., manipulating an attribute causes the change of an entire image). By contrast, this work introduces low-rank subspaces that enable more precise control of GAN generation. Concretely, given an arbitrary image and a region of interest (e.g., eyes of face images), we manage to relate the latent space to the image region with the Jacobian matrix and then use low-rank factorization to discover steerable latent subspaces. There are three distinguishable strengths of our approach that can be aptly called LowRankGAN. First, compared to analytic algorithms in prior work, our low-rank factorization of Jacobians is able to find the low-dimensional representation of attribute manifold, making image editing more precise and controllable. Second, low-rank factorization naturally yields a null space of attributes such that moving the latent code within it only affects the outer region of interest. Therefore, local image editing can be simply achieved by projecting an attribute vector into the null space without relying on a spatial mask as existing methods do. Third, our method can robustly work with a local region from one image for analysis yet well generalize to other images, making it much easy to use in practice. Extensive experiments on state-of-the-art GAN models (including StyleGAN2 and BigGAN) trained on various datasets demonstrate the effectiveness of our LowRankGAN.