arXiv reaDer
NeRO: 多視点画像からの反射物体のニューラル幾何学と BRDF 再構成
NeRO: Neural Geometry and BRDF Reconstruction of Reflective Objects from Multiview Images
未知の環境で撮影された多視点画像から反射物体の幾何学形状と BRDF を再構成するための、NeRO と呼ばれるニューラル レンダリング ベースの方法を紹介します。鏡面反射はビューに依存するため、ほとんどの多視点再構築法の基礎である多視点の一貫性に違反するため、反射オブジェクトの多視点再構築は非常に困難です。最近のニューラル レンダリング技術は、ビュー依存の反射に適合するように環境光と物体表面の間の相互作用をモデル化できるため、多視点画像から反射物体を再構成することが可能になります。ただし、ニューラル レンダリングで環境ライトを正確にモデリングすることは、特にジオメトリが不明な場合には困難です。環境光をモデル化できる既存のニューラル レンダリング手法のほとんどは、直接光のみを考慮し、弱い鏡面反射でオブジェクトを再構築するためにオブジェクト マスクに依存します。したがって、これらの方法では、特にオブジェクト マスクが利用できず、オブジェクトが間接光で照らされている場合、反射オブジェクトを再構築できません。私たちは、この問題に取り組むための 2 段階のアプローチを提案します。まず、分割和近似と統合方向エンコーディングを適用して直接光と間接光の両方のシェーディング効果を近似することにより、オブジェクト マスクなしで反射オブジェクトのジオメトリを正確に再構築できます。次に、オブジェクトのジオメトリを固定して、より正確なサンプリングを使用して環境光とオブジェクトの BRDF を回復します。広範な実験により、私たちの方法は、環境光やオブジェクトマスクを知らなくても、配置された RGB 画像のみから反射オブジェクトのジオメトリと BRDF を正確に再構築できることが実証されています。コードとデータセットは https://github.com/liuyuan-pal/NeRO で入手できます。
We present a neural rendering-based method called NeRO for reconstructing the geometry and the BRDF of reflective objects from multiview images captured in an unknown environment. Multiview reconstruction of reflective objects is extremely challenging because specular reflections are view-dependent and thus violate the multiview consistency, which is the cornerstone for most multiview reconstruction methods. Recent neural rendering techniques can model the interaction between environment lights and the object surfaces to fit the view-dependent reflections, thus making it possible to reconstruct reflective objects from multiview images. However, accurately modeling environment lights in the neural rendering is intractable, especially when the geometry is unknown. Most existing neural rendering methods, which can model environment lights, only consider direct lights and rely on object masks to reconstruct objects with weak specular reflections. Therefore, these methods fail to reconstruct reflective objects, especially when the object mask is not available and the object is illuminated by indirect lights. We propose a two-step approach to tackle this problem. First, by applying the split-sum approximation and the integrated directional encoding to approximate the shading effects of both direct and indirect lights, we are able to accurately reconstruct the geometry of reflective objects without any object masks. Then, with the object geometry fixed, we use more accurate sampling to recover the environment lights and the BRDF of the object. Extensive experiments demonstrate that our method is capable of accurately reconstructing the geometry and the BRDF of reflective objects from only posed RGB images without knowing the environment lights and the object masks. Codes and datasets are available at https://github.com/liuyuan-pal/NeRO.
updated: Sat May 27 2023 07:40:07 GMT+0000 (UTC)
published: Sat May 27 2023 07:40:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト