arXiv reaDer
EyeNeRF:人間の目のフォトリアリスティックな合成、アニメーション、および再照明のためのハイブリッド表現
EyeNeRF: A Hybrid Representation for Photorealistic Synthesis, Animation and Relighting of Human Eyes
人々の高品質でアニメート可能で再照明可能な3Dアバターを作成する際のユニークな課題は、人間の目をモデリングすることです。眼を合成するという課題は、1)眼のさまざまなコンポーネントと眼周囲領域を適切に表現し、拡散、屈折、反射率の高い表面を表現できる、コヒーレントな視点合成を行うこと、2)皮膚と眼の外観を環境から解きほぐすことを必要とするため、さまざまです。新しい照明条件下でレンダリングできるような照明、および3)眼球運動および周囲の皮膚の変形をキャプチャして再注視を可能にする。これらの課題は、伝統的に、高品質の結果を得るために高価で面倒なキャプチャ設定の使用を必要とし、それでも、眼の領域の全体的なモデリングはとらえどころのないままでした。忠実度の高いキャプチャとフォトリアリスティックなアニメーション、ビューの合成、およびまばらなライトとカメラのセットのみを使用した目の領域の再照明を可能にする、新しいジオメトリと外観の表現を紹介します。私たちのハイブリッド表現は、眼球の明示的なパラメトリック表面モデルと、眼周囲領域および眼の内部の暗黙的な変形可能な体積表現を組み合わせたものです。この新しいハイブリッドモデルは、その困難な顔の領域のさまざまな部分に対処するように設計されています-明示的な眼球表面により、角膜での屈折と高周波鏡面反射のモデリングが可能になりますが、暗黙的な表現は、球面高調波であり、ヘアや拡散体積体などの非表面構造を表すことができます。これらは両方とも、明示的な表面モデルの課題です。目の高解像度のクローズアップの場合、モデルは、目に見えない照明条件下で、斬新なビューから忠実度の高いアニメーションの視線を合成できることを示します。
A unique challenge in creating high-quality animatable and relightable 3D avatars of people is modeling human eyes. The challenge of synthesizing eyes is multifold as it requires 1) appropriate representations for the various components of the eye and the periocular region for coherent viewpoint synthesis, capable of representing diffuse, refractive and highly reflective surfaces, 2) disentangling skin and eye appearance from environmental illumination such that it may be rendered under novel lighting conditions, and 3) capturing eyeball motion and the deformation of the surrounding skin to enable re-gazing. These challenges have traditionally necessitated the use of expensive and cumbersome capture setups to obtain high-quality results, and even then, modeling of the eye region holistically has remained elusive. We present a novel geometry and appearance representation that enables high-fidelity capture and photorealistic animation, view synthesis and relighting of the eye region using only a sparse set of lights and cameras. Our hybrid representation combines an explicit parametric surface model for the eyeball with implicit deformable volumetric representations for the periocular region and the interior of the eye. This novel hybrid model has been designed to address the various parts of that challenging facial area - the explicit eyeball surface allows modeling refraction and high-frequency specular reflection at the cornea, whereas the implicit representation is well suited to model lower-frequency skin reflection via spherical harmonics and can represent non-surface structures such as hair or diffuse volumetric bodies, both of which are a challenge for explicit surface models. We show that for high-resolution close-ups of the eye, our model can synthesize high-fidelity animated gaze from novel views under unseen illumination conditions.
updated: Thu Jun 16 2022 20:05:04 GMT+0000 (UTC)
published: Thu Jun 16 2022 20:05:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト