生成的敵対的ネットワーク(GAN)は、さまざまな画像生成タスクで前例のない成功を収めています。ただし、有望な結果は、ジェネレータとディスクリミネータが2段階で交互に更新される面倒なトレーニングプロセスを犠牲にしてもたらされます。この論文では、GANを1つの段階で効率的にトレーニングできる一般的なトレーニングスキームを調査します。ジェネレーターとディスクリミネーターの敵対的損失に基づいて、GANを対称GANと非対称GANの2つのクラスに分類し、2つを統合する新しい勾配分解法を導入して、両方のクラスを1つのステージでトレーニングできるようにし、トレーニングを軽減します。努力。また、提案された方法の効率を計算で分析し、提案された方法がさまざまなデータセットとネットワークアーキテクチャにわたって確実な1.5倍の加速をもたらすことを経験的に示します。さらに、提案された方法は、データフリーの知識蒸留など、他の敵対的訓練シナリオに容易に適用できることを示します。コードはhttps://github.com/zju-vipa/OSGANで入手できます。
Generative Adversarial Networks (GANs) have demonstrated unprecedented success in various image generation tasks. The encouraging results, however, come at the price of a cumbersome training process, during which the generator and discriminator are alternately updated in two stages. In this paper, we investigate a general training scheme that enables training GANs efficiently in only one stage. Based on the adversarial losses of the generator and discriminator, we categorize GANs into two classes, Symmetric GANs and Asymmetric GANs, and introduce a novel gradient decomposition method to unify the two, allowing us to train both classes in one stage and hence alleviate the training effort. We also computationally analyze the efficiency of the proposed method, and empirically demonstrate that, the proposed method yields a solid 1.5× acceleration across various datasets and network architectures. Furthermore, we show that the proposed method is readily applicable to other adversarial-training scenarios, such as data-free knowledge distillation. The code is available at https://github.com/zju-vipa/OSGAN.