arXiv reaDer
神経放射フィールドを 3D 密度画像として登録する
Registering Neural Radiance Fields as 3D Density Images
NeRF 表現を使用して、部分的に重なり合う 2 つのシーンを直接マージするための重要な作業は行われていません。この論文では、部分的に重複する 3D シーンの事前トレーニング済み NeRF モデルを与えて、従来の登録パイプライン、つまりキー ポイント検出と点セットの登録を 3D 密度フィールドで動作するように一般化することにより、剛体変換でそれらのモデルを調整します。コーナー ポイントを 3D のキー ポイントとして記述するために、さまざまなシーンでトレーニングおよびテストできる、ユニバーサルな事前トレーニング済み記述子生成ニューラル ネットワークを使用することを提案します。私たちは、対照的な学習戦略を使用して記述子ネットワークを簡単にトレーニングできることを実証するために実験を実行します。我々は、グローバルなアプローチとして、私たちの方法がNeRFモデルを効果的に登録できることを実証し、個別に捕捉されたより小さく重複するNeRFを登録することにより、将来の大規模なNeRF構築を可能にする。
No significant work has been done to directly merge two partially overlapping scenes using NeRF representations. Given pre-trained NeRF models of a 3D scene with partial overlapping, this paper aligns them with a rigid transform, by generalizing the traditional registration pipeline, that is, key point detection and point set registration, to operate on 3D density fields. To describe corner points as key points in 3D, we propose to use universal pre-trained descriptor-generating neural networks that can be trained and tested on different scenes. We perform experiments to demonstrate that the descriptor networks can be conveniently trained using a contrastive learning strategy. We demonstrate that our method, as a global approach, can effectively register NeRF models, thus making possible future large-scale NeRF construction by registering its smaller and overlapping NeRFs captured individually.
updated: Mon May 22 2023 09:08:46 GMT+0000 (UTC)
published: Mon May 22 2023 09:08:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト