arXiv reaDer
X-NeRF: マルチシーン 360^∘ の不十分な RGB-D ビューの明示的なニューラル ラディアンス フィールド
X-NeRF: Explicit Neural Radiance Field for Multi-Scene 360^∘ Insufficient RGB-D Views
ニューラル ラディアンス フィールド (NeRF) は、新しいビュー合成で優れたパフォーマンスを発揮しますが、多くの場合、高密度の入力ビューを必要とします。多くの論文では、シーンごとに 1 つのモデルをそれぞれトレーニングしていますが、マルチモーダル データをこの問題に組み込むことを検討している論文はほとんどありません。このホワイト ペーパーでは、めったに議論されないが重要な設定に焦点を当てます。360^∘ 不十分なビューと RGB-D 画像を使用して、複数のシーンを表すことができる 1 つのモデルをトレーニングできますか?不十分なビューを、非常にまばらでほとんど重複しないビューと呼びます。これに対処するために、座標ベースのマッピングの代わりに一般的なシーンの完成プロセスを学習する完全に明示的なアプローチである X-NeRF が提案されています。いくつかの不十分な RGB-D 入力ビューが与えられると、X-NeRF はまずそれらをスパース ポイント クラウド テンソルに変換し、次に 3D スパース生成畳み込みニューラル ネットワーク (CNN) を適用して、ボリューム レンダリングを高速に実行できる明示的な放射輝度フィールドに完成させます。推論中にネットワークを実行せずに。オーバーフィッティングを避けるために、一般的なレンダリングの損失に加えて、知覚損失を適用し、点群のランダムな回転によるビュー拡張を適用します。提案された方法論は、提案された問題とアプローチの大きな可能性を示しており、私たちの設定で以前の暗黙的な方法よりも大幅に優れています。コードとデータは https://github.com/HaoyiZhu/XNeRF で入手できます。
Neural Radiance Fields (NeRFs), despite their outstanding performance on novel view synthesis, often need dense input views. Many papers train one model for each scene respectively and few of them explore incorporating multi-modal data into this problem. In this paper, we focus on a rarely discussed but important setting: can we train one model that can represent multiple scenes, with 360^∘ insufficient views and RGB-D images? We refer insufficient views to few extremely sparse and almost non-overlapping views. To deal with it, X-NeRF, a fully explicit approach which learns a general scene completion process instead of a coordinate-based mapping, is proposed. Given a few insufficient RGB-D input views, X-NeRF first transforms them to a sparse point cloud tensor and then applies a 3D sparse generative Convolutional Neural Network (CNN) to complete it to an explicit radiance field whose volumetric rendering can be conducted fast without running networks during inference. To avoid overfitting, besides common rendering loss, we apply perceptual loss as well as view augmentation through random rotation on point clouds. The proposed methodology significantly out-performs previous implicit methods in our setting, indicating the great potential of proposed problem and approach. Codes and data are available at https://github.com/HaoyiZhu/XNeRF.
updated: Tue Oct 11 2022 04:29:26 GMT+0000 (UTC)
published: Tue Oct 11 2022 04:29:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト