生成的敵対的ネットワーク(GAN)に関する最近の研究では、生成的CNNのさまざまなレイヤーが、合成された画像のさまざまなセマンティクスを保持していることが明らかになっています。ただし、特定のレイヤーで表されるセマンティック属性を制御するための明示的なディメンションを持つGANモデルはほとんどありません。この論文では、さまざまな発電機層から解釈可能で制御可能な寸法を監視なしでマイニングできるEigenGANを提案します。具体的には、EigenGANは、直交基底を持つ1つの線形部分空間を各ジェネレーターレイヤーに埋め込みます。ターゲット分布を学習するための生成的敵対的トレーニングを介して、これらの層ごとの部分空間は、セマンティック属性または解釈可能なバリエーションのセットに対応する各層で「固有次元」のセットを自動的に検出します。特定の固有次元の係数をトラバースすることにより、ジェネレーターは、特定のセマンティック属性に対応する連続的な変化を伴うサンプルを生成できます。人間の顔を例にとると、EigenGANは、深い層の部分空間でのポーズや性別などの高レベルの概念、および浅い層の部分空間での色相や色などの低レベルの概念の制御可能な次元を検出できます。さらに、線形の場合、アルゴリズムがPCAと同様に主成分を導出することを理論的に証明します。コードはhttps://github.com/LynnHo/EigenGAN-Tensorflowにあります。
Recent studies on Generative Adversarial Network (GAN) reveal that different layers of a generative CNN hold different semantics of the synthesized images. However, few GAN models have explicit dimensions to control the semantic attributes represented in a specific layer. This paper proposes EigenGAN which is able to unsupervisedly mine interpretable and controllable dimensions from different generator layers. Specifically, EigenGAN embeds one linear subspace with orthogonal basis into each generator layer. Via generative adversarial training to learn a target distribution, these layer-wise subspaces automatically discover a set of "eigen-dimensions" at each layer corresponding to a set of semantic attributes or interpretable variations. By traversing the coefficient of a specific eigen-dimension, the generator can produce samples with continuous changes corresponding to a specific semantic attribute. Taking the human face for example, EigenGAN can discover controllable dimensions for high-level concepts such as pose and gender in the subspace of deep layers, as well as low-level concepts such as hue and color in the subspace of shallow layers. Moreover, in the linear case, we theoretically prove that our algorithm derives the principal components as PCA does. Codes can be found in https://github.com/LynnHo/EigenGAN-Tensorflow.