arXiv reaDer
D-TensoRF: 動的シーンのテンソル放射輝度フィールド
D-TensoRF: Tensorial Radiance Fields for Dynamic Scenes
Neural Radiance Field (NeRF) は、3D シーンを再構築するための有望なアプローチとして注目を集めています。 NeRF の出現に伴い、動きやトポロジーの変化を含む動的なシーンをモデル化するための後続の研究が行われました。ただし、それらのほとんどは追加の変形ネットワークを使用するため、トレーニングとレンダリングの速度が低下します。 Tensorial radiance field (TensoRF) は最近、コンパクトなモデル サイズで静的シーンを高速かつ高品質に再構成できる可能性を示しています。この論文では、動的シーンのテンソル放射輝度フィールドである D-TensoRF を提示し、特定の時間に新しいビュー合成を可能にします。動的シーンの放射輝度フィールドを 5D テンソルと見なします。 5D テンソルは、各軸が X、Y、Z、および時間に対応する 4D グリッドを表し、要素ごとに 1D マルチチャネル機能を備えています。 TensoRF と同様に、グリッドをランク 1 のベクトル コンポーネント (CP 分解) または低ランクの行列コンポーネント (新しく提案された MM 分解) に分解します。また、平滑化正則化を使用して、さまざまな時点でのフィーチャ間の関係 (時間依存性) を反映します。モデルを分析するために広範な評価を実施します。 CP 分解と MM 分解を使用した D-TensoRF は、3D 動的シーン モデリングの最先端の方法と比較して、トレーニング時間が短く、メモリ フットプリントが大幅に少なく、量的および質的に競争力のあるレンダリング結果をもたらすことを示しています。
Neural radiance field (NeRF) attracts attention as a promising approach to reconstructing the 3D scene. As NeRF emerges, subsequent studies have been conducted to model dynamic scenes, which include motions or topological changes. However, most of them use an additional deformation network, slowing down the training and rendering speed. Tensorial radiance field (TensoRF) recently shows its potential for fast, high-quality reconstruction of static scenes with compact model size. In this paper, we present D-TensoRF, a tensorial radiance field for dynamic scenes, enabling novel view synthesis at a specific time. We consider the radiance field of a dynamic scene as a 5D tensor. The 5D tensor represents a 4D grid in which each axis corresponds to X, Y, Z, and time and has 1D multi-channel features per element. Similar to TensoRF, we decompose the grid either into rank-one vector components (CP decomposition) or low-rank matrix components (newly proposed MM decomposition). We also use smoothing regularization to reflect the relationship between features at different times (temporal dependency). We conduct extensive evaluations to analyze our models. We show that D-TensoRF with CP decomposition and MM decomposition both have short training times and significantly low memory footprints with quantitatively and qualitatively competitive rendering results in comparison to the state-of-the-art methods in 3D dynamic scene modeling.
updated: Mon Dec 05 2022 15:57:55 GMT+0000 (UTC)
published: Mon Dec 05 2022 15:57:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト