arXiv reaDer
HexPlane: 動的シーンの高速表現
HexPlane: A Fast Representation for Dynamic Scenes
動的な 3D シーンのモデリングと再レンダリングは、3D ビジョンでは困難な作業です。以前のアプローチは NeRF に基づいて構築され、暗黙的な表現に依存していました。多くの MLP 評価が必要であり、現実世界のアプリケーションを制約するため、これは遅くなります。動的な 3D シーンは、学習した特徴の 6 つの平面によって明示的に表現できることを示し、HexPlane と呼ばれる洗練されたソリューションにつながります。 HexPlane は、各平面から抽出されたベクトルを融合することにより、時空のポイントの特徴を計算します。これは非常に効率的です。 HexPlane を小さな MLP と組み合わせて出力色を回帰させ、ボリューム レンダリングを介してトレーニングすることで、ダイナミック シーンでの斬新なビュー合成の印象的な結果が得られ、以前の作業の画質に匹敵しますが、トレーニング時間を 100 分の 1 以上短縮します。広範なアブレーションにより、HexPlane 設計が確認され、さまざまな機能融合メカニズム、座標系、およびデコード メカニズムに対して堅牢であることを示しています。 HexPlane は、4D ボリュームを表現するためのシンプルで効果的なソリューションであり、動的 3D シーンの時空のモデリングに広く貢献できることを願っています。
Modeling and re-rendering dynamic 3D scenes is a challenging task in 3D vision. Prior approaches build on NeRF and rely on implicit representations. This is slow since it requires many MLP evaluations, constraining real-world applications. We show that dynamic 3D scenes can be explicitly represented by six planes of learned features, leading to an elegant solution we call HexPlane. A HexPlane computes features for points in spacetime by fusing vectors extracted from each plane, which is highly efficient. Pairing a HexPlane with a tiny MLP to regress output colors and training via volume rendering gives impressive results for novel view synthesis on dynamic scenes, matching the image quality of prior work but reducing training time by more than 100×. Extensive ablations confirm our HexPlane design and show that it is robust to different feature fusion mechanisms, coordinate systems, and decoding mechanisms. HexPlane is a simple and effective solution for representing 4D volumes, and we hope they can broadly contribute to modeling spacetime for dynamic 3D scenes.
updated: Mon Mar 27 2023 16:39:58 GMT+0000 (UTC)
published: Mon Jan 23 2023 18:59:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト