arXiv reaDer
NeuS:マルチビュー再構成のためのボリュームレンダリングによる神経陰関数曲面の学習
NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction
2D画像入力から高忠実度でオブジェクトとシーンを再構成するためのNeuSと呼ばれる新しい神経表面再構成法を提示します。 DVRやIDRなどの既存の神経表面再構成アプローチでは、監視として前景マスクが必要であり、極小値に簡単に閉じ込められるため、重度の自己閉塞または薄い構造を持つオブジェクトの再構成に苦労します。一方、NeRFやそのバリアントなど、新しいビュー合成のための最近のニューラルメソッドは、ボリュームレンダリングを使用して、非常に複雑なオブジェクトの場合でも、最適化の堅牢性を備えたニューラルシーン表現を生成します。ただし、この学習された陰的表現から高品質の表面を抽出することは、表現に十分な表面制約がないために困難です。 NeuSでは、符号付き距離関数(SDF)のゼロレベルセットとしてサーフェスを表現することを提案し、ニューラルSDF表現をトレーニングするための新しいボリュームレンダリング方法を開発します。従来のボリュームレンダリング方法は、表面再構成に固有の幾何学的エラー(つまりバイアス)を引き起こすことを観察し、したがって、一次近似でバイアスのない新しい定式化を提案し、マスクの監視がなくてもより正確な表面再構成につながります。 。 DTUデータセットとBlendedMVSデータセットでの実験は、NeuSが、特に複雑な構造と自己閉塞を伴うオブジェクトやシーンで、高品質の表面再構成において最先端の性能を上回っていることを示しています。
We present a novel neural surface reconstruction method, called NeuS, for reconstructing objects and scenes with high fidelity from 2D image inputs. Existing neural surface reconstruction approaches, such as DVR and IDR, require foreground mask as supervision, easily get trapped in local minima, and therefore struggle with the reconstruction of objects with severe self-occlusion or thin structures. Meanwhile, recent neural methods for novel view synthesis, such as NeRF and its variants, use volume rendering to produce a neural scene representation with robustness of optimization, even for highly complex objects. However, extracting high-quality surfaces from this learned implicit representation is difficult because there are not sufficient surface constraints in the representation. In NeuS, we propose to represent a surface as the zero-level set of a signed distance function (SDF) and develop a new volume rendering method to train a neural SDF representation. We observe that the conventional volume rendering method causes inherent geometric errors (i.e. bias) for surface reconstruction, and therefore propose a new formulation that is free of bias in the first order of approximation, thus leading to more accurate surface reconstruction even without the mask supervision. Experiments on the DTU dataset and the BlendedMVS dataset show that NeuS outperforms the state-of-the-arts in high-quality surface reconstruction, especially for objects and scenes with complex structures and self-occlusion.
updated: Sun Jun 20 2021 12:59:42 GMT+0000 (UTC)
published: Sun Jun 20 2021 12:59:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト