arXiv reaDer
画像から三角形の3Dモデル、マテリアル、および照明を抽出する
Extracting Triangular 3D Models, Materials, and Lighting From Images
マルチビュー画像観察からトポロジー、材料、照明を共同で最適化するための効率的な方法を紹介します。ニューラルネットワークでエンコードされた絡み合った3D表現を通常生成する最近のマルチビュー再構成アプローチとは異なり、従来のグラフィックエンジンを変更せずに展開できる、空間的に変化するマテリアルと環境照明を備えた三角形メッシュを出力します。微分可能なレンダリング、座標ベースのネットワークでの最近の作業を活用して、体積テクスチャをコンパクトに表現し、微分可能なマーチング四面体とともに、表面メッシュ上で直接勾配ベースの最適化を可能にします。最後に、全周波数照明を効率的に回復するために、環境照明の分割和近似の微分可能な定式化を紹介します。実験では、高度なシーン編集、マテリアル分解、および高品質のビュー補間で使用される抽出モデルが示されています。これらはすべて、三角形ベースのレンダラー(ラスターライザーとパストレーサー)でインタラクティブな速度で実行されます。プロジェクトのウェブサイト:https://nvlabs.github.io/nvdiffrec/。
We present an efficient method for joint optimization of topology, materials and lighting from multi-view image observations. Unlike recent multi-view reconstruction approaches, which typically produce entangled 3D representations encoded in neural networks, we output triangle meshes with spatially-varying materials and environment lighting that can be deployed in any traditional graphics engine unmodified. We leverage recent work in differentiable rendering, coordinate-based networks to compactly represent volumetric texturing, alongside differentiable marching tetrahedrons to enable gradient-based optimization directly on the surface mesh. Finally, we introduce a differentiable formulation of the split sum approximation of environment lighting to efficiently recover all-frequency lighting. Experiments show our extracted models used in advanced scene editing, material decomposition, and high quality view interpolation, all running at interactive rates in triangle-based renderers (rasterizers and path tracers). Project website: https://nvlabs.github.io/nvdiffrec/ .
updated: Tue Apr 11 2023 07:05:24 GMT+0000 (UTC)
published: Wed Nov 24 2021 13:58:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト