arXiv reaDer
野生の画像からアニメーション可能な詳細な 3D 顔モデルを学習する
Learning an Animatable Detailed 3D Face Model from In-The-Wild Images
現在の単眼 3D 顔再構成法では、幾何学的な詳細を復元できますが、いくつかの制限があります。一部の方法では、表情によってしわがどのように変化するかをモデル化していないため、リアルにアニメーション化できない顔が生成されます。他の方法は高品質の顔スキャンで訓練されており、野生の画像にうまく一般化できません。私たちは、3D の顔の形と、個人に固有であるが表情によって変化するアニメーション化可能な詳細を回帰する最初のアプローチを示します。私たちのモデルである DECA (Detailed Expression Capture and Animation) は、人固有の詳細パラメーターと一般的な表現パラメーターで構成される低次元潜在表現から UV ディスプレイスメント マップを確実に生成するようにトレーニングされていますが、リグレッサーは詳細を予測するようにトレーニングされています。単一の画像からの形状、アルベド、表情、ポーズ、および照明パラメータ。これを可能にするために、表現に依存するしわから人固有の詳細を解きほぐす、新しい詳細一貫性の損失を導入します。このもつれをほぐすことで、人物特有のディテールを変更せずに、表現パラメーターを制御することで、リアルな人物特有のシワを合成することができます。 DECA は、ペアリングされた 3D 監視なしで野生の画像から学習され、2 つのベンチマークで最先端の形状再構成精度を実現します。野生のデータに関する定性的な結果は、DECA の堅牢性と、再構築された顔のアニメーションを可能にする ID および表現に依存する詳細を解く能力を示しています。モデルとコードは https://deca.is.tue.mpg.de で公開されています。
While current monocular 3D face reconstruction methods can recover fine geometric details, they suffer several limitations. Some methods produce faces that cannot be realistically animated because they do not model how wrinkles vary with expression. Other methods are trained on high-quality face scans and do not generalize well to in-the-wild images. We present the first approach that regresses 3D face shape and animatable details that are specific to an individual but change with expression. Our model, DECA (Detailed Expression Capture and Animation), is trained to robustly produce a UV displacement map from a low-dimensional latent representation that consists of person-specific detail parameters and generic expression parameters, while a regressor is trained to predict detail, shape, albedo, expression, pose and illumination parameters from a single image. To enable this, we introduce a novel detail-consistency loss that disentangles person-specific details from expression-dependent wrinkles. This disentanglement allows us to synthesize realistic person-specific wrinkles by controlling expression parameters while keeping person-specific details unchanged. DECA is learned from in-the-wild images with no paired 3D supervision and achieves state-of-the-art shape reconstruction accuracy on two benchmarks. Qualitative results on in-the-wild data demonstrate DECA's robustness and its ability to disentangle identity- and expression-dependent details enabling animation of reconstructed faces. The model and code are publicly available at https://deca.is.tue.mpg.de.
updated: Wed Jun 02 2021 17:52:42 GMT+0000 (UTC)
published: Mon Dec 07 2020 19:30:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト