任意次元の放射輝度場のホワイト ボックス モデルである k 平面を導入します。私たちのモデルは、d 次元シーンを表すために d choose 2 プレーンを使用し、静的 (d=3) シーンから動的 (d=4) シーンにシームレスに移動する方法を提供します。この平面因子分解により、次元固有の事前確率 (時間的な滑らかさや多重解像度の空間構造など) を簡単に追加できるようになり、シーンの静的および動的コンポーネントの自然な分解が誘導されます。非線形ブラックボックス MLP デコーダーと同様のパフォーマンスが得られる、学習されたカラー ベースを持つ線形特徴デコーダーを使用します。合成シーンと実写シーン、静的シーンと動的シーン、固定シーンと変動シーンのさまざまなシーンで、k プレーンは競争力のある、多くの場合最先端の再構成忠実度を低メモリ使用量で実現し、完全な 4D グリッドで 1000 倍の圧縮を実現し、高速です。純粋な PyTorch 実装による最適化。ビデオの結果とコードについては、https://sarafridov.github.io/K-Planes を参照してください。
We introduce k-planes, a white-box model for radiance fields in arbitrary dimensions. Our model uses d choose 2 planes to represent a d-dimensional scene, providing a seamless way to go from static (d=3) to dynamic (d=4) scenes. This planar factorization makes adding dimension-specific priors easy, e.g. temporal smoothness and multi-resolution spatial structure, and induces a natural decomposition of static and dynamic components of a scene. We use a linear feature decoder with a learned color basis that yields similar performance as a nonlinear black-box MLP decoder. Across a range of synthetic and real, static and dynamic, fixed and varying appearance scenes, k-planes yields competitive and often state-of-the-art reconstruction fidelity with low memory usage, achieving 1000x compression over a full 4D grid, and fast optimization with a pure PyTorch implementation. For video results and code, please see https://sarafridov.github.io/K-Planes.