1 つの未知の照明条件によって照らされたオブジェクトのポーズされた多視点画像から、オブジェクトの形状と空間的に変化する反射率を回復する問題に対処します。これにより、任意の環境照明下でのオブジェクトの新しいビューのレンダリングと、オブジェクトのマテリアル プロパティの編集が可能になります。 Neural Radiance Factorization (NeRFactor) と呼ばれる私たちのアプローチの鍵は、Neural Radiance Field (NeRF) のボリューム ジオメトリを蒸留することです [Mildenhall et al. 2020] オブジェクトの表現を表面表現に変換し、空間的に変化する反射率と環境照明を解決しながら、ジオメトリを共同で改善します。具体的には、NeRFactor は、表面法線、光の可視性、アルベド、双方向反射率分布関数 (BRDF) の 3D ニューラル フィールドを、監督なしで、再レンダリング損失、単純な平滑性事前分布、および実際から学習したデータ駆動型 BRDF 事前分布のみを使用して回復します。 -世界の BRDF 測定。光の可視性を明示的にモデル化することで、NeRFactor はアルベドからシャドウを分離し、任意の照明条件の下でリアルなソフトまたはハード シャドウを合成できます。 NeRFactor は、合成シーンと実際のシーンの両方で、この挑戦的で制約の少ないキャプチャ設定で、自由視点リライティング用の説得力のある 3D モデルを復元できます。定性的および定量的実験は、NeRFactor がさまざまなタスクで古典的および深層学習ベースの最先端技術よりも優れていることを示しています。私たちのコードとデータは people.csail.mit.edu/xiuming/projects/nerfactor/ で入手できます。
We address the problem of recovering the shape and spatially-varying reflectance of an object from posed multi-view images of the object illuminated by one unknown lighting condition. This enables the rendering of novel views of the object under arbitrary environment lighting and editing of the object's material properties. The key to our approach, which we call Neural Radiance Factorization (NeRFactor), is to distill the volumetric geometry of a Neural Radiance Field (NeRF) [Mildenhall et al. 2020] representation of the object into a surface representation and then jointly refine the geometry while solving for the spatially-varying reflectance and the environment lighting. Specifically, NeRFactor recovers 3D neural fields of surface normals, light visibility, albedo, and Bidirectional Reflectance Distribution Functions (BRDFs) without any supervision, using only a re-rendering loss, simple smoothness priors, and a data-driven BRDF prior learned from real-world BRDF measurements. By explicitly modeling light visibility, NeRFactor is able to separate shadows from albedo and synthesize realistic soft or hard shadows under arbitrary lighting conditions. NeRFactor is able to recover convincing 3D models for free-viewpoint relighting in this challenging and underconstrained capture setup for both synthetic and real scenes. Qualitative and quantitative experiments show that NeRFactor outperforms classic and deep learning-based state of the art across various tasks. Our code and data are available at people.csail.mit.edu/xiuming/projects/nerfactor/.