自然な 2D 画像から現実世界のオブジェクトの形状と外観を復元することは、長年にわたる困難な逆レンダリング問題です。この論文では、従来の手持ちカメラで撮影された多視点画像からシーンの 3D ジオメトリと反射率を効率的に再構成する新しいハイブリッド微分可能レンダリング手法を紹介します。私たちの手法は合成による分析アプローチに従い、2 つのフェーズで構成されます。初期化フェーズでは、従来の SfM および MVS 手法を使用して、実際のシーンとほぼ一致する仮想シーンを再構築します。次に、最適化フェーズでは、ハイブリッド アプローチを採用してジオメトリと反射率を調整します。最初に近似微分可能レンダリング法を使用してジオメトリが最適化され、その後、物理ベースの微分可能レンダリング法を使用して反射率が最適化されます。当社のハイブリッド アプローチは、近似手法の効率性と物理ベースの手法の高品質な結果を組み合わせたものです。合成データと実際のデータに関する広範な実験により、私たちの方法がより効率的でありながら、最先端の方法と同等またはそれ以上の品質で再構成を生成できることが実証されています。
Recovering the shape and appearance of real-world objects from natural 2D images is a long-standing and challenging inverse rendering problem. In this paper, we introduce a novel hybrid differentiable rendering method to efficiently reconstruct the 3D geometry and reflectance of a scene from multi-view images captured by conventional hand-held cameras. Our method follows an analysis-by-synthesis approach and consists of two phases. In the initialization phase, we use traditional SfM and MVS methods to reconstruct a virtual scene roughly matching the real scene. Then in the optimization phase, we adopt a hybrid approach to refine the geometry and reflectance, where the geometry is first optimized using an approximate differentiable rendering method, and the reflectance is optimized afterward using a physically-based differentiable rendering method. Our hybrid approach combines the efficiency of approximate methods with the high-quality results of physically-based methods. Extensive experiments on synthetic and real data demonstrate that our method can produce reconstructions with similar or higher quality than state-of-the-art methods while being more efficient.