重要で挑戦的な問題として、数ショットの画像生成は、少数のサンプルを与えられたGANモデルをトレーニングすることによって現実的な画像を生成することを目的としています。数ショット生成の一般的なソリューションは、十分にトレーニングされたGANモデルをデータが豊富なソースドメインからデータが不足しているターゲットドメインに転送することです。この論文では、D3T-GANと呼ばれる新しい自己監視転送方式を提案し、数ショットの画像生成におけるクロスドメインGAN転送に対処します。具体的には、ジェネレータとディスクリミネータの間でそれぞれ知識を転送するための2つの個別の戦略を設計します。ジェネレーター間で知識を転送するために、データに依存する変換を実行します。これにより、ターゲットサンプルがソースジェネレーター空間に投影および再構築されます。次に、変換されたサンプルから生成されたサンプルへの知識の伝達を実行します。判別式間で知識を転送するために、実際のサンプルと偽のサンプルの両方で、ソース判別式からターゲット判別式へのマルチレベル判別式知識蒸留を設計します。広範な実験は、私たちの方法が生成された画像の品質を改善し、一般的に使用されるデータセットで最先端のFIDスコアを達成することを示しています。
As an important and challenging problem, few-shot image generation aims at generating realistic images through training a GAN model given few samples. A typical solution for few-shot generation is to transfer a well-trained GAN model from a data-rich source domain to the data-deficient target domain. In this paper, we propose a novel self-supervised transfer scheme termed D3T-GAN, addressing the cross-domain GANs transfer in few-shot image generation. Specifically, we design two individual strategies to transfer knowledge between generators and discriminators, respectively. To transfer knowledge between generators, we conduct a data-dependent transformation, which projects and reconstructs the target samples into the source generator space. Then, we perform knowledge transfer from transformed samples to generated samples. To transfer knowledge between discriminators, we design a multi-level discriminant knowledge distillation from the source discriminator to the target discriminator on both the real and fake samples. Extensive experiments show that our method improve the quality of generated images and achieves the state-of-the-art FID scores on commonly used datasets.