arXiv reaDer
TensoRF:テンソル放射輝度フィールド
TensoRF: Tensorial Radiance Fields
放射輝度フィールドをモデル化および再構築するための新しいアプローチであるTensoRFを紹介します。純粋にMLPを使用するNeRFとは異なり、シーンの放射フィールドを4Dテンソルとしてモデル化します。これは、ボクセルごとのマルチチャネル機能を備えた3Dボクセルグリッドを表します。私たちの中心的なアイデアは、4Dシーンテンソルを複数のコンパクトな低ランクテンソルコンポーネントに分解することです。従来のCP分解(テンソルをコンパクトなベクトルでランク1のコンポーネントに分解する)をフレームワークに適用すると、バニラNeRFよりも改善されることを示します。パフォーマンスをさらに向上させるために、テンソルの2つのモードの低ランク制約を緩和し、テンソルをコンパクトなベクトルおよび行列因子に因数分解する新しいベクトル行列(VM)分解を導入します。優れたレンダリング品質に加えて、CPおよびVM分解を使用したモデルは、ボクセルごとの機能を直接最適化する以前の同時作業と比較して、メモリフットプリントを大幅に削減します。実験的に、CP分解を使用したTensoRFは、NeRFと比較して、レンダリング品質が向上し、モデルサイズがさらに小さい(<4 MB)高速再構成(<30分)を実現することを示しています。さらに、VM分解を使用したTensoRFは、レンダリング品質をさらに向上させ、以前の最先端の方法を上回り、再構築時間(<10分)を短縮し、コンパクトなモデルサイズ(<75 MB)を維持します。
We present TensoRF, a novel approach to model and reconstruct radiance fields. Unlike NeRF that purely uses MLPs, we model the radiance field of a scene as a 4D tensor, which represents a 3D voxel grid with per-voxel multi-channel features. Our central idea is to factorize the 4D scene tensor into multiple compact low-rank tensor components. We demonstrate that applying traditional CP decomposition -- that factorizes tensors into rank-one components with compact vectors -- in our framework leads to improvements over vanilla NeRF. To further boost performance, we introduce a novel vector-matrix (VM) decomposition that relaxes the low-rank constraints for two modes of a tensor and factorizes tensors into compact vector and matrix factors. Beyond superior rendering quality, our models with CP and VM decompositions lead to a significantly lower memory footprint in comparison to previous and concurrent works that directly optimize per-voxel features. Experimentally, we demonstrate that TensoRF with CP decomposition achieves fast reconstruction (<30 min) with better rendering quality and even a smaller model size (<4 MB) compared to NeRF. Moreover, TensoRF with VM decomposition further boosts rendering quality and outperforms previous state-of-the-art methods, while reducing the reconstruction time (<10 min) and retaining a compact model size (<75 MB).
updated: Thu Mar 17 2022 17:59:59 GMT+0000 (UTC)
published: Thu Mar 17 2022 17:59:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト