このホワイト ペーパーでは、再構成された 3D モデルを、3D シーンの作成やレンダリングなどの実用的な 3D モデリング パイプラインに柔軟に統合する方法について説明します。技術的な難しさから、既存の 3D 再構成技術を使用して、ほとんどの実際のオブジェクトのラフな 3D モデル (R3DM) しか取得できません。その結果、物理ベースのレンダリング (PBR) は、R3DM によって構築されたシーンの低品質の画像またはビデオをレンダリングします。有望な解決策の 1 つは、実世界のオブジェクトを NeRF などのニューラル フィールドとして表現することです。NeRF は、目的の視点の下でオブジェクトの写真のようにリアルなレンダリングを生成できます。ただし、欠点は、Neural Fields Rendering (NFR) を介して合成されたビューが、PBR パイプラインの R3DM でシミュレートされた照明の詳細を反映できないことです。特に、3D シーン作成でのオブジェクトの相互作用によってローカル シャドウが発生する場合です。このジレンマを解決するために、NFR と PBR を橋渡しする照明転送ネットワーク (LighTNet) を提案し、相互に利益を得ることができるようにします。 LightNet は、単純化された画像構成モデルについて説明し、R3DM によって引き起こされる凹凸のある表面の問題を解決し、いくつかの知覚的動機による制約と、照明の強さと色の間のコントラストを強化する新しい Lab 角度損失によって強化されます。比較は、LighTNet が印象的な照明の合成に優れており、実用的な 3D モデリング ワークフローで NFR をさらに推し進める上で有望であることを示しています。プロジェクトページ: https://3d-front-future.github.io/LighTNet .
This paper studies how to flexibly integrate reconstructed 3D models into practical 3D modeling pipelines such as 3D scene creation and rendering. Due to the technical difficulty, one can only obtain rough 3D models (R3DMs) for most real objects using existing 3D reconstruction techniques. As a result, physically-based rendering (PBR) would render low-quality images or videos for scenes that are constructed by R3DMs. One promising solution would be representing real-world objects as Neural Fields such as NeRFs, which are able to generate photo-realistic renderings of an object under desired viewpoints. However, a drawback is that the synthesized views through Neural Fields Rendering (NFR) cannot reflect the simulated lighting details on R3DMs in PBR pipelines, especially when object interactions in the 3D scene creation cause local shadows. To solve this dilemma, we propose a lighting transfer network (LighTNet) to bridge NFR and PBR, such that they can benefit from each other. LighTNet reasons about a simplified image composition model, remedies the uneven surface issue caused by R3DMs, and is empowered by several perceptual-motivated constraints and a new Lab angle loss which enhances the contrast between lighting strength and colors. Comparisons demonstrate that LighTNet is superior in synthesizing impressive lighting, and is promising in pushing NFR further in practical 3D modeling workflows. Project page: https://3d-front-future.github.io/LighTNet .