arXiv reaDer
Signed Ray Distance Functions (SRDF) を使用したマルチビュー再構成
Multi-View Reconstruction using Signed Ray Distance Functions (SRDF)
この論文では、マルチビュー 3D 形状再構成のための新しい最適化フレームワークを調査します。最近の微分可能なレンダリング アプローチは、推定されたジオメトリの精度がまだ不足している可能性がありますが、暗黙的な形状表現で画期的なパフォーマンスを提供しています。一方、マルチビュー ステレオ法では、ビュー レイに沿ったローカル深度予測により、ピクセル単位の幾何学的精度を得ることができます。私たちのアプローチは、暗黙的であるがピクセル深度でパラメーター化された新しい体積形状表現で2つの戦略間のギャップを埋め、表示光線に沿った一貫した符号付き距離で形状表面をより適切に具体化します。このアプローチは、最適化における体積積分の恩恵を受けながら、ピクセル精度を維持します。この目的のために、ボリューム離散化内の各 3D 位置で、対応するピクセルの深度予測の一貫性と測光の一貫性との間の一致を評価することにより、深度が最適化されます。最適化は、中央値ベースのベースラインからより精巧な基準学習関数まで変化する可能性がある関連する光一貫性用語にとらわれません。私たちの実験は、深度予測との体積統合の利点を示しています。また、私たちのアプローチが標準の 3D ベンチマークよりも優れたジオメトリ推定で既存のアプローチよりも優れていることも示しています。
In this paper, we investigate a new optimization framework for multi-view 3D shape reconstructions. Recent differentiable rendering approaches have provided breakthrough performances with implicit shape representations though they can still lack precision in the estimated geometries. On the other hand multi-view stereo methods can yield pixel wise geometric accuracy with local depth predictions along viewing rays. Our approach bridges the gap between the two strategies with a novel volumetric shape representation that is implicit but parameterized with pixel depths to better materialize the shape surface with consistent signed distances along viewing rays. The approach retains pixel-accuracy while benefiting from volumetric integration in the optimization. To this aim, depths are optimized by evaluating, at each 3D location within the volumetric discretization, the agreement between the depth prediction consistency and the photometric consistency for the corresponding pixels. The optimization is agnostic to the associated photo-consistency term which can vary from a median-based baseline to more elaborate criteria learned functions. Our experiments demonstrate the benefit of the volumetric integration with depth predictions. They also show that our approach outperforms existing approaches over standard 3D benchmarks with better geometry estimations.
updated: Fri Mar 03 2023 17:27:47 GMT+0000 (UTC)
published: Wed Aug 31 2022 19:32:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト