屋内シーンは通常、グローバル イルミネーションによって空間的に変化する複雑な外観を呈するため、逆レンダリングは困難な不適切な設定の問題になります。この作業は、重要度サンプリングを使用した微分可能なモンテカルロ レイトレーシングを組み込んだ、エンドツーエンドの学習ベースの逆レンダリング フレームワークを示しています。このフレームワークは、基になるジオメトリ、空間的に変化する照明、およびフォトリアリスティックなマテリアルを共同で復元するために、単一の画像を入力として受け取ります。具体的には、物理ベースの微分可能なレンダリング レイヤーをスクリーン スペース レイ トレーシングと共に導入し、入力写真と一致するよりリアルな鏡面反射を実現します。さらに、複雑な家具や専用の装飾など、非常に豊富な詳細を備えた大規模で写真のようにリアルな屋内シーン データセットを作成します。さらに、ハイパーネットワークベースのニューラル放射輝度フィールドを活用して、入力写真のビュー外の照明を予測する、不確実性を意識した改良を備えた新しいビュー外照明ネットワークを設計します。一般的なベンチマーク データセットでの広範な評価を通じて、最先端のベースラインと比較して、メソッドの優れた逆レンダリング品質を実証し、複雑なオブジェクトの挿入やマテリアル編集などのさまざまなアプリケーションを高忠実度で可能にします。コードとデータは、https://jingsenzhu.github.io/invrend で利用できるようになります。
Indoor scenes typically exhibit complex, spatially-varying appearance from global illumination, making inverse rendering a challenging ill-posed problem. This work presents an end-to-end, learning-based inverse rendering framework incorporating differentiable Monte Carlo raytracing with importance sampling. The framework takes a single image as input to jointly recover the underlying geometry, spatially-varying lighting, and photorealistic materials. Specifically, we introduce a physically-based differentiable rendering layer with screen-space ray tracing, resulting in more realistic specular reflections that match the input photo. In addition, we create a large-scale, photorealistic indoor scene dataset with significantly richer details like complex furniture and dedicated decorations. Further, we design a novel out-of-view lighting network with uncertainty-aware refinement leveraging hypernetwork-based neural radiance fields to predict lighting outside the view of the input photo. Through extensive evaluations on common benchmark datasets, we demonstrate superior inverse rendering quality of our method compared to state-of-the-art baselines, enabling various applications such as complex object insertion and material editing with high fidelity. Code and data will be made available at https://jingsenzhu.github.io/invrend.