最近の研究では、ボリュームシーン表現と微分可能なボリュームレンダリングを組み合わせることで、メッシュの再構築が失敗する困難なシーンの写実的なレンダリングが可能になることが示されています。ただし、これらのメソッドは、編集できない「ブラックボックス」ボリューム内のジオメトリと外観を絡ませます。代わりに、連続2Dテクスチャマップとして表されるジオメトリ(連続3Dボリュームとして表される)を外観から明示的に解きほぐすアプローチを提示します。これは、3Dから2Dへのテクスチャマッピング(または表面パラメータ化)ネットワークを体積表現に導入することで実現します。追加の2Dから3Dへの逆マッピングネットワークと新しいサイクル一貫性損失を使用してこのテクスチャマッピングネットワークを制約し、3Dサーフェスポイントを元の3Dポイントにマッピングする2Dテクスチャポイントにマッピングします。この表現は、マルチビュー画像監視のみを使用して再構築でき、高品質のレンダリング結果を生成できることを示しています。さらに重要なのは、ジオメトリとテクスチャを分離することで、ユーザーが2Dテクスチャマップを編集するだけで外観を編集できるようにすることです。
Recent work has demonstrated that volumetric scene representations combined with differentiable volume rendering can enable photo-realistic rendering for challenging scenes that mesh reconstruction fails on. However, these methods entangle geometry and appearance in a "black-box" volume that cannot be edited. Instead, we present an approach that explicitly disentangles geometry--represented as a continuous 3D volume--from appearance--represented as a continuous 2D texture map. We achieve this by introducing a 3D-to-2D texture mapping (or surface parameterization) network into volumetric representations. We constrain this texture mapping network using an additional 2D-to-3D inverse mapping network and a novel cycle consistency loss to make 3D surface points map to 2D texture points that map back to the original 3D points. We demonstrate that this representation can be reconstructed using only multi-view image supervision and generates high-quality rendering results. More importantly, by separating geometry and texture, we allow users to edit appearance by simply editing 2D texture maps.