arXiv reaDer
StyleAlign: Analysis and Applications of Aligned StyleGAN Models
この論文では、整列された生成モデルの特性とアプリケーションの詳細な研究を行います。 2つのモデルが同じアーキテクチャを共有し、一方(子)がもう一方(親)から別のドメインへの微調整によって取得される場合、それらは整列されていると見なされます。これは、転移学習の一般的な方法です。いくつかの作品は、画像から画像への変換を実行するために、整列されたStyleGANモデルのいくつかの基本的なプロパティをすでに利用しています。ここでは、StyleGANにも焦点を当てて、モデルの位置合わせの最初の詳細な調査を実行します。まず、調整されたモデルを経験的に分析し、その性質に関する重要な質問への回答を提供します。特に、子モデルの潜在空間は親の潜在空間と意味的に整合しており、人間の顔や教会などの離れたデータドメインでも、信じられないほど豊富な意味を継承していることがわかります。次に、この理解を深めることで、調整されたモデルを活用して、さまざまなタスクのセットを解決します。画像変換に加えて、完全に自動化されたクロスドメイン画像モーフィングを示します。さらに、親ドメインでの監視のみに依存しながら、ゼロショットビジョンタスクを子ドメインで実行できることを示します。私たちのアプローチは、単純な微調整と反転のみを必要とし、最先端の結果をもたらすことを定性的および定量的に示しています。
In this paper, we perform an in-depth study of the properties and applications of aligned generative models. We refer to two models as aligned if they share the same architecture, and one of them (the child) is obtained from the other (the parent) via fine-tuning to another domain, a common practice in transfer learning. Several works already utilize some basic properties of aligned StyleGAN models to perform image-to-image translation. Here, we perform the first detailed exploration of model alignment, also focusing on StyleGAN. First, we empirically analyze aligned models and provide answers to important questions regarding their nature. In particular, we find that the child model's latent spaces are semantically aligned with those of the parent, inheriting incredibly rich semantics, even for distant data domains such as human faces and churches. Second, equipped with this better understanding, we leverage aligned models to solve a diverse set of tasks. In addition to image translation, we demonstrate fully automatic cross-domain image morphing. We further show that zero-shot vision tasks may be performed in the child domain, while relying exclusively on supervision in the parent domain. We demonstrate qualitatively and quantitatively that our approach yields state-of-the-art results, while requiring only simple fine-tuning and inversion.
updated: Thu Oct 21 2021 17:55:16 GMT+0000 (UTC)
published: Thu Oct 21 2021 17:55:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト