arXiv reaDer
A cost-effective method for improving and re-purposing large, pre-trained GANs by fine-tuning their class-embeddings
事前にトレーニングされた大規模な生成モデルはますます人気があり、研究とより広いコミュニティの両方に役立ちます。具体的には、BigGANは、ImageNetでトレーニングされたクラス条件付きの生成的敵対的ネットワーク---リアルな写真を生成するための優れた最先端の機能を実現しました。ただし、BigGANを最初から微調整またはトレーニングすることは、ほとんどの研究者やエンジニアにとって事実上不可能です。これは、(1)GANトレーニングが不安定で、モードが崩壊することが多いためです。 (2)トレーニングには、かなりの量の計算、2日間で256個のGoogle TPU、または15日間で8xV100GPUが必要です。重要なことに、NLPと画像ドメインの両方で事前にトレーニングされた生成モデルの多くには、社会に有害なバイアスが含まれていることがわかりました。したがって、ダウンストリームタスク用にこれらの巨大な事前トレーニング済みモデルを変更および転用するための計算上実行可能な方法が必要です。この論文では、クラス埋め込み層のみを微調整することにより、BigGANを改善および再利用するための費用効果の高い最適化手法を提案します。モデル編集アプローチの有効性を3つのタスクで示します。(1)完全なモード崩壊クラスのサンプルのリアリズムと多様性を大幅に改善します。 (2)Places365の画像を生成するためにImageNetBigGANを再利用します。 (3)選択したImageNetクラスのサンプルの多様性をデバイアスまたは改善します。
Large, pre-trained generative models have been increasingly popular and useful to both the research and wider communities. Specifically, BigGANs a class-conditional Generative Adversarial Networks trained on ImageNet---achieved excellent, state-of-the-art capability in generating realistic photos. However, fine-tuning or training BigGANs from scratch is practically impossible for most researchers and engineers because (1) GAN training is often unstable and suffering from mode-collapse; and (2) the training requires a significant amount of computation, 256 Google TPUs for 2 days or 8xV100 GPUs for 15 days. Importantly, many pre-trained generative models both in NLP and image domains were found to contain biases that are harmful to society. Thus, we need computationally-feasible methods for modifying and re-purposing these huge, pre-trained models for downstream tasks. In this paper, we propose a cost-effective optimization method for improving and re-purposing BigGANs by fine-tuning only the class-embedding layer. We show the effectiveness of our model-editing approach in three tasks: (1) significantly improving the realism and diversity of samples of complete mode-collapse classes; (2) re-purposing ImageNet BigGANs for generating images for Places365; and (3) de-biasing or improving the sample diversity for selected ImageNet classes.
updated: Thu Oct 08 2020 21:46:34 GMT+0000 (UTC)
published: Thu Oct 10 2019 15:18:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト