arXiv reaDer
AgileGAN3D: 拡張転移学習による少数ショット 3D ポートレート スタイル化
AgileGAN3D: Few-Shot 3D Portrait Stylization by Augmented Transfer Learning
自動化された 2D のポートレート スタイル作成は大幅に進歩しましたが、ユーザーの 1 枚の写真から見事な 3D ポートレート スタイルを作成することは、依然として未解決の課題です。ここでの主な障害の 1 つは、定型化された高品質の 3D トレーニング データが不足していることです。この論文では、詳細なジオメトリを使用して、芸術的に魅力的でパーソナライズされた 3D ポートレートを生成できる新しいフレームワーク AgileGAN3D を提案します。新しい様式は、ほんの数 (約 20) のペアになっていない 2D 見本で取得できます。これは、まず既存の 2D スタイライゼーション機能 (スタイルの事前作成) を活用して、拡張された 2D スタイルの模範を大量に生成することによって実現します。これらの拡張された手本は、正確なカメラ ポーズ ラベルとペアの実際の顔画像を使用して生成されます。これは、下流の 3D スタイル化タスクにとって重要であることが証明されています。 3D 対応 GAN モデルの最近の進歩を利用して、事前トレーニング済みの 3D GAN ジェネレーターでガイド付き転移学習を実行し、マルチビューで一貫性のある様式化されたレンダリングを生成します。サブジェクトの ID を適切に保持できる 3D GAN インバージョンを実現するために、エンコーダのトレーニングにマルチビューの一貫性損失を組み込みます。私たちのパイプラインは、ユーザーの写真をさまざまな 3D の芸術的なポートレートに変える強力な能力を示しています。定性的結果と定量的評価の両方が実施され、この方法の優れた性能が示されました。コードと事前トレーニング済みのモデルは、再現目的でリリースされます。
While substantial progresses have been made in automated 2D portrait stylization, admirable 3D portrait stylization from a single user photo remains to be an unresolved challenge. One primary obstacle here is the lack of high quality stylized 3D training data. In this paper, we propose a novel framework AgileGAN3D that can produce 3D artistically appealing and personalized portraits with detailed geometry. New stylization can be obtained with just a few (around 20) unpaired 2D exemplars. We achieve this by first leveraging existing 2D stylization capabilities, style prior creation, to produce a large amount of augmented 2D style exemplars. These augmented exemplars are generated with accurate camera pose labels, as well as paired real face images, which prove to be critical for the downstream 3D stylization task. Capitalizing on the recent advancement of 3D-aware GAN models, we perform guided transfer learning on a pretrained 3D GAN generator to produce multi-view-consistent stylized renderings. In order to achieve 3D GAN inversion that can preserve subject's identity well, we incorporate multi-view consistency loss in the training of our encoder. Our pipeline demonstrates strong capability in turning user photos into a diverse range of 3D artistic portraits. Both qualitative results and quantitative evaluations have been conducted to show the superior performance of our method. Code and pretrained models will be released for reproduction purpose.
updated: Fri Mar 24 2023 23:04:20 GMT+0000 (UTC)
published: Fri Mar 24 2023 23:04:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト