arXiv reaDer
暗黙の表現による顔の幾何学的詳細の回復
Facial Geometric Detail Recovery via Implicit Representation
単一の顔画像から細かいスケールの詳細を含む高密度の3Dモデルを学習することは、非常に困難であり、不適切です。この問題に対処するために、多くのアプローチは、追加の変位マップまたはパーソナライズされたベースとして詳細を学習しながら、顔の事前に滑らかな形状に適合します。ただし、これらの手法では通常、ペアのマルチビューデータまたは3Dスキャンの膨大なデータセットが必要ですが、そのようなデータセットは不足していて高価です。大量のデータ依存性を軽減するために、単一の野生の顔画像のみを使用して、堅牢なテクスチャガイド付きの幾何学的詳細回復アプローチを提示します。より具体的には、私たちの方法は、高品質のテクスチャ補完と陰関数曲面の強力な表現力を組み合わせたものです。最初に、隠れた顔の部分を塗りつぶし、完全なテクスチャを生成し、同じ主題の正確なマルチビューデータセットを構築します。詳細なジオメトリを推定するために、暗黙の符号付き距離関数を定義し、物理ベースの暗黙のレンダラーを使用して、生成されたマルチビュー画像から細かいジオメトリの詳細を再構築します。私たちの方法は、正確な顔の細部を復元するだけでなく、法線、アルベド、シェーディングパーツを自己監視方式で分解します。最後に、暗黙の形状の詳細を3D Morphable Modelテンプレートに登録します。これは、従来のモデリングおよびレンダリングパイプラインで使用できます。広範な実験は、提案されたアプローチが、特に大規模なデータセットでトレーニングされた最先端の方法と比較した場合に、単一の画像から印象的な顔の詳細を再構築できることを示しています。
Learning a dense 3D model with fine-scale details from a single facial image is highly challenging and ill-posed. To address this problem, many approaches fit smooth geometries through facial prior while learning details as additional displacement maps or personalized basis. However, these techniques typically require vast datasets of paired multi-view data or 3D scans, whereas such datasets are scarce and expensive. To alleviate heavy data dependency, we present a robust texture-guided geometric detail recovery approach using only a single in-the-wild facial image. More specifically, our method combines high-quality texture completion with the powerful expressiveness of implicit surfaces. Initially, we inpaint occluded facial parts, generate complete textures, and build an accurate multi-view dataset of the same subject. In order to estimate the detailed geometry, we define an implicit signed distance function and employ a physically-based implicit renderer to reconstruct fine geometric details from the generated multi-view images. Our method not only recovers accurate facial details but also decomposes normals, albedos, and shading parts in a self-supervised way. Finally, we register the implicit shape details to a 3D Morphable Model template, which can be used in traditional modeling and rendering pipelines. Extensive experiments demonstrate that the proposed approach can reconstruct impressive facial details from a single image, especially when compared with state-of-the-art methods trained on large datasets.
updated: Fri Mar 18 2022 01:42:59 GMT+0000 (UTC)
published: Fri Mar 18 2022 01:42:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト