arXiv reaDer
StyleDomain: ワンショットおよび少数のドメイン適応のための StyleGAN の効率的で軽量なパラメーター化
StyleDomain: Efficient and Lightweight Parameterizations of StyleGAN for One-shot and Few-shot Domain Adaptation
GAN のドメイン適応は、大規模なデータセットで事前トレーニングされた最先端の GAN モデル (StyleGAN など) を、サンプル数の少ない特定のドメイン (顔のペイント、スケッチなど) に微調整する問題です。この問題にさまざまな方法で取り組む方法は多数ありますが、まだ答えられていない重要な問題が数多くあります。この論文では、StyleGANモデルに焦点を当てて、GANのドメイン適応問題の体系的かつ詳細な分析を提供します。まず、ソース ドメインとターゲット ドメインの類似性に応じて、ジェネレーターを新しいドメインに適応させる StyleGAN の最も重要な部分の詳細な調査を行います。この詳細な調査の結果、ドメイン適応のための StyleGAN の新しい効率的で軽量なパラメーター化を提案します。特に、同様のドメインに適応するのに十分な StyleSpace の方向 (StyleDomain 方向) が存在し、それらをさらに削減できることを示します。異なるドメインについては、Affine+ および AffineLight+ のパラメーター化を提案します。これにより、少ないデータ体制での少数ショット適応で既存のベースラインよりも優れた性能を発揮できます。最後に、StyleDomain の方向を調べて、ドメイン ミキシングとクロスドメイン イメージ モーフィングに適用する多くの驚くべき特性を発見します。
Domain adaptation of GANs is a problem of fine-tuning the state-of-the-art GAN models (e.g. StyleGAN) pretrained on a large dataset to a specific domain with few samples (e.g. painting faces, sketches, etc.). While there are a great number of methods that tackle this problem in different ways, there are still many important questions that remain unanswered. In this paper, we provide a systematic and in-depth analysis of the domain adaptation problem of GANs, focusing on the StyleGAN model. First, we perform a detailed exploration of the most important parts of StyleGAN that are responsible for adapting the generator to a new domain depending on the similarity between the source and target domains. As a result of this in-depth study, we propose new efficient and lightweight parameterizations of StyleGAN for domain adaptation. Particularly, we show there exist directions in StyleSpace (StyleDomain directions) that are sufficient for adapting to similar domains and they can be reduced further. For dissimilar domains, we propose Affine+ and AffineLight+ parameterizations that allows us to outperform existing baselines in few-shot adaptation with low data regime. Finally, we examine StyleDomain directions and discover their many surprising properties that we apply for domain mixing and cross-domain image morphing.
updated: Mon Jun 19 2023 09:54:37 GMT+0000 (UTC)
published: Tue Dec 20 2022 13:07:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト