arXiv reaDer
AvatarMe ++:フォトリアリスティックレンダリング対応GANを使用した顔の形状とBRDF推論
AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs
過去数年にわたって、多くの顔分析タスクは、単一の「野生の」画像からの顔の生成や3D顔の再構築などのアプリケーションで、驚異的なパフォーマンスを達成してきました。それにもかかわらず、私たちの知る限り、「野生の」画像からレンダリング可能な高解像度の3D顔を生成できる方法はありません。これは、次の理由による可能性があります。(a)トレーニングに利用できるデータの不足。 、および(b)非常に高解像度のデータに正常に適用できる堅牢な方法論の欠如。この作業では、単一の「野生の」画像からフォトリアリスティックなレンダリング対応の3D顔のジオメトリとBRDFを再構築できる最初の方法を紹介します。公開した顔の形と反射率の大規模なデータセットをキャプチャします。正確な顔の皮膚の拡散反射と鏡面反射、自己閉塞、および表面下散乱近似を使用して、高速な顔の写実的な微分可能なレンダリング手法を定義します。これにより、最先端の3DMMフィッティング手法で再構築された、ベイク処理された照明を使用して、顔の拡散反射率と鏡面反射BRDFコンポーネントを形状とテクスチャから解きほぐすネットワークをトレーニングします。私たちの方法は、既存の芸術を大幅に上回り、さまざまなアプリケーションでレンダリングできる単一の低解像度画像から高解像度3D顔を再構築し、不気味の谷を埋めます。
Over the last years, many face analysis tasks have accomplished astounding performance, with applications including face generation and 3D face reconstruction from a single "in-the-wild" image. Nevertheless, to the best of our knowledge, there is no method which can produce render-ready high-resolution 3D faces from "in-the-wild" images and this can be attributed to the: (a) scarcity of available data for training, and (b) lack of robust methodologies that can successfully be applied on very high-resolution data. In this work, we introduce the first method that is able to reconstruct photorealistic render-ready 3D facial geometry and BRDF from a single "in-the-wild" image. We capture a large dataset of facial shape and reflectance, which we have made public. We define a fast facial photorealistic differentiable rendering methodology with accurate facial skin diffuse and specular reflection, self-occlusion and subsurface scattering approximation. With this, we train a network that disentangles the facial diffuse and specular BRDF components from a shape and texture with baked illumination, reconstructed with a state-of-the-art 3DMM fitting method. Our method outperforms the existing arts by a significant margin and reconstructs high-resolution 3D faces from a single low-resolution image, that can be rendered in various applications, and bridge the uncanny valley.
updated: Sat Dec 11 2021 11:36:30 GMT+0000 (UTC)
published: Sat Dec 11 2021 11:36:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト