ニューラル レンダリングの最近の進歩は、マルチビュー画像からシーンを再構築する大きな可能性を示しています。ただし、光沢のある表面を持つオブジェクトを正確に表現することは、既存の方法では依然として課題です。この作業では、困難な鏡面反射を伴う表面の高品質のレンダリングと再構築のためのレンダリングおよびモデリング フレームワークである ENVIDR を紹介します。これを達成するために、我々はまず、分解されたレンダリングコンポーネントを備えた新しいニューラルレンダラーを提案して、表面と環境の照明の間の相互作用を学習します。このレンダラーは、既存の物理ベースのレンダラーを使用してトレーニングされ、実際のシーン表現から分離されています。次に、この学習したニューラル レンダラーを活用して一般的なシーンを表現する SDF ベースのニューラル サーフェス モデルを提案します。私たちのモデルは、表面反射光線の行進による光沢のある表面からの相互反射によって引き起こされる間接照明をさらに合成します。私たちの方法が、挑戦的な光沢のあるシーンで最先端の方法よりも優れていることを実証し、鏡面反射の高品質のレンダリングを提供しながら、マテリアルの編集とシーンの再照明も可能にします。
Recent advances in neural rendering have shown great potential for reconstructing scenes from multiview images. However, accurately representing objects with glossy surfaces remains a challenge for existing methods. In this work, we introduce ENVIDR, a rendering and modeling framework for high-quality rendering and reconstruction of surfaces with challenging specular reflections. To achieve this, we first propose a novel neural renderer with decomposed rendering components to learn the interaction between surface and environment lighting. This renderer is trained using existing physically based renderers and is decoupled from actual scene representations. We then propose an SDF-based neural surface model that leverages this learned neural renderer to represent general scenes. Our model additionally synthesizes indirect illuminations caused by inter-reflections from shiny surfaces by marching surface-reflected rays. We demonstrate that our method outperforms state-of-art methods on challenging shiny scenes, providing high-quality rendering of specular reflections while also enabling material editing and scene relighting.