arXiv reaDer
たった1つのCLIPでのGANのワンショット適応
One-Shot Adaptation of GAN in Just One CLIP
新しいドメインの画像を生成するために、いくつかのターゲット画像を使用して事前にトレーニングされたジェネレータを微調整するための最近の多くの研究努力があります。残念ながら、これらの方法は、単一のターゲット画像で微調整すると、過剰適合または過適合に悩まされることがよくあります。これに対処するために、ここでは、統合されたCLIP空間操作による新しいシングルショットGAN適応方法を紹介します。具体的には、私たちのモデルは2段階のトレーニング戦略を採用しています。CLIPガイド付き潜在最適化を使用したソースジェネレーターでの参照画像検索と、それに続くソースジェネレーターと適応ジェネレーターの間にCLIPスペースの一貫性を課す新しい損失関数によるジェネレーターの微調整です。ソースジェネレータに関して空間的に一貫したサンプルを生成するように適応モデルをさらに改善するために、CLIP空間でのパッチごとの関係の対照的な正則化も提案します。実験結果は、私たちのモデルがターゲットテクスチャで多様な出力を生成し、定性的および定量的にベースラインモデルを上回っていることを示しています。さらに、CLIPスペース操作戦略により、より効果的な属性編集が可能になることを示します。
There are many recent research efforts to fine-tune a pre-trained generator with a few target images to generate images of a novel domain. Unfortunately, these methods often suffer from overfitting or under-fitting when fine-tuned with a single target image. To address this, here we present a novel single-shot GAN adaptation method through unified CLIP space manipulations. Specifically, our model employs a two-step training strategy: reference image search in the source generator using a CLIP-guided latent optimization, followed by generator fine-tuning with a novel loss function that imposes CLIP space consistency between the source and adapted generators. To further improve the adapted model to produce spatially consistent samples with respect to the source generator, we also propose contrastive regularization for patchwise relationships in the CLIP space. Experimental results show that our model generates diverse outputs with the target texture and outperforms the baseline models both qualitatively and quantitatively. Furthermore, we show that our CLIP space manipulation strategy allows more effective attribute editing.
updated: Fri Sep 30 2022 07:22:46 GMT+0000 (UTC)
published: Thu Mar 17 2022 13:03:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト