微分可能な立体視を提案します。これは、少数の入力ビューとノイズの多いカメラから形状とテクスチャを再構築するマルチビューステレオアプローチです。従来の立体視と最新の微分可能なレンダリングを組み合わせて、さまざまなトポロジと形状のオブジェクトのテクスチャ3Dメッシュを予測するエンドツーエンドモデルを構築します。最適化問題として立体視を組み立て、同時に単純な最急降下法を介して形状とカメラを更新します。広範な定量分析を実行し、従来のマルチビューステレオ技術および最先端の学習ベースの方法と比較します。挑戦的な現実世界のシーンで、複雑な形状、トポロジー、テクスチャを備えた豊富なオブジェクトタイプについて、説得力のある再構成を示します。プロジェクトのウェブページ:https://shubham-goel.github.io/ds/
We propose Differentiable Stereopsis, a multi-view stereo approach that reconstructs shape and texture from few input views and noisy cameras. We pair traditional stereopsis and modern differentiable rendering to build an end-to-end model which predicts textured 3D meshes of objects with varying topologies and shape. We frame stereopsis as an optimization problem and simultaneously update shape and cameras via simple gradient descent. We run an extensive quantitative analysis and compare to traditional multi-view stereo techniques and state-of-the-art learning based methods. We show compelling reconstructions on challenging real-world scenes and for an abundance of object types with complex shape, topology and texture. Project webpage: https://shubham-goel.github.io/ds/