arXiv reaDer
Level-S^2fM: 暗黙的な表面のニューラル レベル セット上のモーションからの構造
Level-S^2fM: Structure from Motion on Neural Level Set of Implicit Surfaces
この論文では、ニューラル インクリメンタル ストラクチャー フロム モーション (SfM) アプローチ、Level-S^2fM を紹介します。私たちの定式化では、インプリシット サーフェスと放射輝度フィールドの座標 MLP を同時に学習し、主に SIFT によって確立されたキーポイント対応から供給されるカメラ ポーズとシーン ジオメトリを推定することを目指しています。私たちの定式化は、座標 MLP の最適化のための増分 SfM パイプラインの開始時に避けられない 2 ビューおよび少数ビュー構成のために、いくつかの新しい課題に直面するでしょうが、2D 対応で伝達する強い誘導バイアスが実行可能であり、有望であることがわかりました。ボリュメトリック レンダリングで使用されるレイ サンプリング スキームと、インプリシット サーフェスのゼロレベル セットを見つける球体トレースとの関係を活用することで、これらの課題を回避します。これに基づいて、インクリメンタル SfM のパイプラインを再検討し、2 ビュー ジオメトリの初期化、カメラ ポーズの登録、3D ポイントの三角形分割、およびニューラル インプリシット サーフェスの新しい視点でのバンドル調整の主要コンポーネントを更新します。座標 MLP は小さな MLP ネットワークでシーン ジオメトリを統合したため、Level-S^2fM は暗黙的なサーフェスのゼロレベル セットを有益なトップダウン正則化として扱い、再構築された 3D ポイントを管理し、クエリによって対応の異常値を拒否します。 SDF は、NBA (Neural BA) によって推定されたジオメトリを調整し、最終的に 3D 再構成の有望な結果をもたらします。さらに、Level-S^2fM は、ニューラル 3D 再構成のためのカメラ ポーズの要件を緩和しました。
This paper presents a neural incremental Structure-from-Motion (SfM) approach, Level-S^2fM. In our formulation, we aim at simultaneously learning coordinate MLPs for the implicit surfaces and the radiance fields, and estimating the camera poses and scene geometry, which is mainly sourced from the established keypoint correspondences by SIFT. Our formulation would face some new challenges due to inevitable two-view and few-view configurations at the beginning of incremental SfM pipeline for the optimization of coordinate MLPs, but we found that the strong inductive biases conveying in the 2D correspondences are feasible and promising to avoid those challenges by exploiting the relationship between the ray sampling schemes used in volumetric rendering and the sphere tracing of finding the zero-level set of implicit surfaces. Based on this, we revisit the pipeline of incremental SfM and renew the key components of two-view geometry initialization, the camera pose registration, and the 3D points triangulation, as well as the Bundle Adjustment in a novel perspective of neural implicit surfaces. Because the coordinate MLPs unified the scene geometry in small MLP networks, our Level-S^2fM treats the zero-level set of the implicit surface as an informative top-down regularization to manage the reconstructed 3D points, reject the outlier of correspondences by querying SDF, adjust the estimated geometries by NBA (Neural BA), finally yielding promising results of 3D reconstruction. Furthermore, our Level-S^2fM alleviated the requirement of camera poses for neural 3D reconstruction.
updated: Tue Nov 22 2022 05:21:21 GMT+0000 (UTC)
published: Tue Nov 22 2022 05:21:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト