arXiv reaDer
SPARC: 少数の入力画像からの 3D スパース ラディアンス フィールドの大規模学習
SPARF: Large-Scale Learning of 3D Sparse Radiance Fields from Few Input Images
Neural Radiance Fields (NeRFs) の最近の進歩は、効率的で高速なレンダリング (plenoxels、InstantNGP) のためにスパース ボクセルを使用する Sparse Radiance Field (SRF) 最適化として、新しいビュー合成の問題を扱います。機械学習と 3D 表現としての SRF の採用を活用するために、高解像度 (400 X 400ピクセル)。このデータセットは、新しいビュー合成用の既存の合成データセットよりも桁違いに大きく、複数のボクセル解像度を持つ 100 万を超える 3D 最適化放射輝度フィールドが含まれています。さらに、わずかなビューからスパース ボクセル放射輝度フィールドを生成することを学習する新しいパイプライン (SuRFNet) を提案します。これは、高密度に収集された SPARC データセットと 3D スパース畳み込みを使用して行われます。 SuRFNet は、少数/1 枚の画像からの部分 SRF と特殊な SRF 損失を使用して、新しいビューからレンダリングできる高品質のまばらなボクセル放射輝度フィールドを生成することを学習します。私たちのアプローチは、最近のベースラインと比較して、ShapeNet のいくつかのビューに基づいて、制約のない新しいビュー合成のタスクで最先端の結果を達成します。 SPARC データセットは、プロジェクトの Web サイト https://abdullahamdi.com/sparf/ でコードとモデルとともに公開されます。
Recent advances in Neural Radiance Fields (NeRFs) treat the problem of novel view synthesis as Sparse Radiance Field (SRF) optimization using sparse voxels for efficient and fast rendering (plenoxels,InstantNGP). In order to leverage machine learning and adoption of SRFs as a 3D representation, we present SPARF, a large-scale ShapeNet-based synthetic dataset for novel view synthesis consisting of ∼ 17 million images rendered from nearly 40,000 shapes at high resolution (400 X 400 pixels). The dataset is orders of magnitude larger than existing synthetic datasets for novel view synthesis and includes more than one million 3D-optimized radiance fields with multiple voxel resolutions. Furthermore, we propose a novel pipeline (SuRFNet) that learns to generate sparse voxel radiance fields from only few views. This is done by using the densely collected SPARF dataset and 3D sparse convolutions. SuRFNet employs partial SRFs from few/one images and a specialized SRF loss to learn to generate high-quality sparse voxel radiance fields that can be rendered from novel views. Our approach achieves state-of-the-art results in the task of unconstrained novel view synthesis based on few views on ShapeNet as compared to recent baselines. The SPARF dataset will be made public with the code and models on the project website https://abdullahamdi.com/sparf/ .
updated: Tue Mar 14 2023 12:08:11 GMT+0000 (UTC)
published: Sun Dec 18 2022 14:56:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト