生成的敵対的ネットワーク(GAN)のトレーニングに関する別の視点を提示し、GANジェネレーターのトレーニングステップが2つの暗黙のサブ問題に分解されることを示します。最初に、弁別器は、分類器ラベルをほぼ反転することによって生成された「逆の例」の形で、新しいターゲットデータをジェネレータに提供します。 2番目の例では、これらの例は、ネットワークのトレーニングに指定された主な損失に関係なく、最小二乗回帰を介してジェネレーターを更新するためのターゲットとして使用されます。主な理論的結果を実験的に検証し、これらのサブ問題を明示的にすることで可能になる代替トレーニング方法への影響について説明します。また、ネットワーク内の誘導バイアスの簡単な表現を紹介します。これは、回帰ターゲットに関連するジェネレーターの出力の記述に適用されます。
We present an alternative perspective on the training of generative adversarial networks (GANs), showing that the training step for a GAN generator decomposes into two implicit sub-problems. In the first, the discriminator provides new target data to the generator in the form of "inverse examples" produced by approximately inverting classifier labels. In the second, these examples are used as targets to update the generator via least-squares regression, regardless of the main loss specified to train the network. We experimentally validate our main theoretical result and discuss implications for alternative training methods that are made possible by making these sub-problems explicit. We also introduce a simple representation of inductive bias in networks, which we apply to describing the generator's output relative to its regression targets.