arXiv reaDer
カノニカルビューで独自のキャラクターを生成および編集する
Generate and Edit Your Own Character in a Canonical View
最近では、ソーシャルメディアやメタバースの飛躍的な普及により、ユーザーが作成した1枚のポートレートからパーソナライズされたキャラクターを合成することが注目されています。入力画像は常に正面から見えるとは限らないため、3Dモデリングやその他のアプリケーションの標準ビューを取得または予測することが重要です。生成モデルの進歩により肖像画の様式化が可能になりますが、標準的なビューで様式化された画像を取得することは依然として困難な作業です。顔の正面化に関するいくつかの研究がありますが、入力が実際の画像ドメイン(漫画や絵画など)にない場合、それらのパフォーマンスは大幅に低下します。正面化後のスタイリングも、出力の縮退をもたらします。この論文では、標準的なビューで様式化された肖像画を生成する、斬新で統一されたフレームワークを提案します。提案された潜在マッパーを使用して、StyleGANの潜在空間での正面化マッピングを分析および発見し、一度に様式化および正面化します。さらに、私たちのモデルは、3Dの監視なしで、ラベルのない2D画像セットを使用してトレーニングできます。私たちの方法の有効性は、実験結果によって実証されています。
Recently, synthesizing personalized characters from a single user-given portrait has received remarkable attention as a drastic popularization of social media and the metaverse. The input image is not always in frontal view, thus it is important to acquire or predict canonical view for 3D modeling or other applications. Although the progress of generative models enables the stylization of a portrait, obtaining the stylized image in canonical view is still a challenging task. There have been several studies on face frontalization but their performance significantly decreases when input is not in the real image domain, e.g., cartoon or painting. Stylizing after frontalization also results in degenerated output. In this paper, we propose a novel and unified framework which generates stylized portraits in canonical view. With a proposed latent mapper, we analyze and discover frontalization mapping in a latent space of StyleGAN to stylize and frontalize at once. In addition, our model can be trained with unlabelled 2D image sets, without any 3D supervision. The effectiveness of our method is demonstrated by experimental results.
updated: Mon Jul 11 2022 06:31:31 GMT+0000 (UTC)
published: Fri May 06 2022 01:37:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト