arXiv reaDer
MonoSDF:神経陰関数曲面再構成のための単眼幾何学的手がかりの調査
MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction
近年、ニューラル陰関数曲面再構成法がマルチビュー3D再構成に普及しています。従来のマルチビューステレオ手法とは対照的に、これらのアプローチは、ニューラルネットワークの誘導的な滑らかさのバイアスにより、より滑らかでより完全な再構成を生成する傾向があります。最先端のニューラル暗黙的手法により、多くの入力ビューからの単純なシーンの高品質な再構成が可能になります。ただし、大きくて複雑なシーンや、まばらな視点からキャプチャされたシーンでは、パフォーマンスが大幅に低下します。これは主に、RGB再構成損失に固有のあいまいさが原因であり、特に観察されていないテクスチャのない領域では、十分な制約がありません。単眼幾何学予測の分野における最近の進歩に動機付けられて、これらの手がかりが神経陰関数曲面再構成を改善するために提供する有用性を体系的に調査します。汎用単眼推定量によって予測される深度と通常の手がかりが、再構成の品質と最適化時間を大幅に改善することを示します。さらに、シングルグリッド上のモノリシックMLPモデルからマルチ解像度グリッド表現に至るまで、神経陰関数曲面を表現するための複数の設計選択を分析および調査します。幾何学的な単眼の事前分布は、表現の選択に関係なく、小規模な単一オブジェクトと大規模な複数オブジェクトのシーンの両方のパフォーマンスを向上させることを観察します。
In recent years, neural implicit surface reconstruction methods have become popular for multi-view 3D reconstruction. In contrast to traditional multi-view stereo methods, these approaches tend to produce smoother and more complete reconstructions due to the inductive smoothness bias of neural networks. State-of-the-art neural implicit methods allow for high-quality reconstructions of simple scenes from many input views. Yet, their performance drops significantly for larger and more complex scenes and scenes captured from sparse viewpoints. This is caused primarily by the inherent ambiguity in the RGB reconstruction loss that does not provide enough constraints, in particular in less-observed and textureless areas. Motivated by recent advances in the area of monocular geometry prediction, we systematically explore the utility these cues provide for improving neural implicit surface reconstruction. We demonstrate that depth and normal cues, predicted by general-purpose monocular estimators, significantly improve reconstruction quality and optimization time. Further, we analyse and investigate multiple design choices for representing neural implicit surfaces, ranging from monolithic MLP models over single-grid to multi-resolution grid representations. We observe that geometric monocular priors improve performance both for small-scale single-object as well as large-scale multi-object scenes, independent of the choice of representation.
updated: Wed Jun 01 2022 17:58:15 GMT+0000 (UTC)
published: Wed Jun 01 2022 17:58:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト