文献では、新しいデータセットで事前トレーニングされたGANを微調整するためのいくつかの方法が提案されています。これにより、特にデータが限られている場合、最初からトレーニングする場合に比べてパフォーマンスが向上します。ただし、GAN事前トレーニングの明らかな経験的利点にもかかわらず、その内部メカニズムは詳細に分析されておらず、その役割の理解は完全には明確ではありません。さらに、適切な事前トレーニング済みGANチェックポイントの選択など、基本的な実用的な詳細は、現在、厳密な根拠がなく、通常は試行錯誤によって決定されます。この作業は、GANの微調整のプロセスを分析することを目的としています。まず、事前にトレーニングされたチェックポイントによってGANトレーニングプロセスを初期化すると、個々のサンプルの忠実度ではなく、主にモデルのカバレッジに影響することを示します。次に、事前トレーニングされたジェネレーターとディスクリミネーターが微調整プロセスにどのように寄与するかを明示的に説明し、両方を事前トレーニングすることの重要性に関する以前の証拠を説明します。最後に、分析の直接の実用的な利点として、特定のターゲットタスクへの微調整に最適な適切なGANチェックポイントを選択するための簡単なレシピについて説明します。重要なのは、ほとんどのターゲットタスクで、Imagenetで事前トレーニングされたGANは、視覚品質が低いにもかかわらず、識別可能なコンピュータービジョンモデルの典型的な事前トレーニングシナリオに似た、微調整の優れた出発点であるように見えることです。
The literature has proposed several methods to finetune pretrained GANs on new datasets, which typically results in higher performance compared to training from scratch, especially in the limited-data regime. However, despite the apparent empirical benefits of GAN pretraining, its inner mechanisms were not analyzed in-depth, and understanding of its role is not entirely clear. Moreover, the essential practical details, e.g., selecting a proper pretrained GAN checkpoint, currently do not have rigorous grounding and are typically determined by trial and error. This work aims to dissect the process of GAN finetuning. First, we show that initializing the GAN training process by a pretrained checkpoint primarily affects the model's coverage rather than the fidelity of individual samples. Second, we explicitly describe how pretrained generators and discriminators contribute to the finetuning process and explain the previous evidence on the importance of pretraining both of them. Finally, as an immediate practical benefit of our analysis, we describe a simple recipe to choose an appropriate GAN checkpoint that is the most suitable for finetuning to a particular target task. Importantly, for most of the target tasks, Imagenet-pretrained GAN, despite having poor visual quality, appears to be an excellent starting point for finetuning, resembling the typical pretraining scenario of discriminative computer vision models.