特定の画像のテクスチャに一致する画像を生成できる深い生成モデルをカスタマイズできますか?教会の画像を見ると、その教会に似たような写真が撮れるかどうか疑問に思うかもしれません。ここでは、GAN を 1 つの参照画像に適応させる方法を提示し、指定された画像と同様のテクスチャを持つ画像を生成できます。具体的には、ユーザーが指定した参照画像に基づいて、事前トレーニング済みの GAN モデルの重みを変更します。パッチ弁別器の敵対的損失を使用して、モデルの出力が特定の画像のテクスチャと一致するようにします。また、ラプラシアンの敵対的損失を使用して、多様性とリアリズムを確保し、2 つの損失の間の矛盾を緩和します。実験は、提案された方法がGANの出力を与えられた画像のテクスチャと一致させ、多様性とリアリズムを維持できることを示しています。
Can we customize a deep generative model which can generate images that can match the texture of some given image? When you see an image of a church, you may wonder if you can get similar pictures for that church. Here we present a method, for adapting GANs with one reference image, and then we can generate images that have similar textures to the given image. Specifically, we modify the weights of the pre-trained GAN model, guided by the reference image given by the user. We use a patch discriminator adversarial loss to encourage the output of the model to match the texture on the given image, also we use a laplacian adversarial loss to ensure diversity and realism, and alleviate the contradiction between the two losses. Experiments show that the proposed method can make the outputs of GANs match the texture of the given image as well as keep diversity and realism.