arXiv reaDer
MyStyle:パーソナライズされたジェネレーティブプライア
MyStyle: A Personalized Generative Prior
MyStyleを紹介します。これは、個人の数ショットでトレーニングされた、パーソナライズされたディープジェネレーティブです。 MyStyleを使用すると、特定の人物の画像を再構築、強化、編集して、その人物の主要な顔の特徴に忠実な出力を実現できます。人物のポートレート画像の小さな参照セット(〜100)が与えられた場合、事前にトレーニングされたStyleGAN顔ジェネレーターの重みを調整して、潜在空間にローカルで低次元のパーソナライズされた多様体を形成します。この多様体が、個人の多様なポートレート画像に関連付けられた潜在コードにまたがるパーソナライズされた領域を構成することを示します。さらに、パーソナライズされた生成事前確率を取得し、それをインペインティングや超解像、セマンティック編集などのさまざまな不適切な画像強調問題に適用するための統一されたアプローチを提案します。パーソナライズされた生成事前分布を使用して、入力画像に忠実であり、参照セット内の個人の主要な顔の特徴にも忠実な出力を取得します。期待される結果の定性的評価のための事前知識を持っている、広く認識されている多数の個人のフェアユースの画像を使用して、この方法を示します。数ショットのベースラインに対してアプローチを評価し、パーソナライズされた事前の、定量的および定性的な、最先端の代替案よりも優れていることを示します。
We introduce MyStyle, a personalized deep generative prior trained with a few shots of an individual. MyStyle allows to reconstruct, enhance and edit images of a specific person, such that the output is faithful to the person's key facial characteristics. Given a small reference set of portrait images of a person (~100), we tune the weights of a pretrained StyleGAN face generator to form a local, low-dimensional, personalized manifold in the latent space. We show that this manifold constitutes a personalized region that spans latent codes associated with diverse portrait images of the individual. Moreover, we demonstrate that we obtain a personalized generative prior, and propose a unified approach to apply it to various ill-posed image enhancement problems, such as inpainting and super-resolution, as well as semantic editing. Using the personalized generative prior we obtain outputs that exhibit high-fidelity to the input images and are also faithful to the key facial characteristics of the individual in the reference set. We demonstrate our method with fair-use images of numerous widely recognizable individuals for whom we have the prior knowledge for a qualitative evaluation of the expected outcome. We evaluate our approach against few-shots baselines and show that our personalized prior, quantitatively and qualitatively, outperforms state-of-the-art alternatives.
updated: Thu Mar 31 2022 17:59:19 GMT+0000 (UTC)
published: Thu Mar 31 2022 17:59:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト