arXiv reaDer
NeuS2: マルチビュー再構成のためのニューラル暗黙曲面の高速学習
NeuS2: Fast Learning of Neural Implicit Surfaces for Multi-view Reconstruction
NeuS などのニューラル サーフェスの表現とレンダリングのための最近の方法は、静的シーンの非常に高品質な再構築を実証しました。ただし、NeuS のトレーニングには非常に長い時間 (8 時間) がかかるため、数千フレームの動的なシーンに適用することはほとんど不可能です。我々は、NeuS2 と呼ばれる高速神経表面再構成アプローチを提案します。これは、再構成の品質を損なうことなく、加速の点で 2 桁の向上を達成します。トレーニング プロセスを高速化するために、多重解像度ハッシュ エンコーディングによってニューラル サーフェス表現をパラメータ化し、CUDA 並列処理を活用してネットワークに合わせた新しい軽量の 2 次微分の計算を提示し、2 倍の高速化を達成しました。トレーニングをさらに安定させて促進するために、粗いものから細かいものまで多重解像度のハッシュ エンコーディングを最適化する漸進的学習戦略が提案されています。私たちは、提案された増分トレーニング戦略と新しいグローバル変換予測コンポーネントを使用して、動的シーンの高速トレーニングのためのメソッドを拡張します。これにより、私たちのメソッドは、大きな動きと変形を伴う困難な長いシーケンスを処理できるようになります。さまざまなデータセットでの実験では、静的シーンと動的シーンの両方で、NeuS2 が表面再構成の精度とトレーニング速度の両方において最先端のものを大幅に上回っていることが実証されました。コードは、当社の Web サイト で入手できます。
Recent methods for neural surface representation and rendering, for example NeuS, have demonstrated the remarkably high-quality reconstruction of static scenes. However, the training of NeuS takes an extremely long time (8 hours), which makes it almost impossible to apply them to dynamic scenes with thousands of frames. We propose a fast neural surface reconstruction approach, called NeuS2, which achieves two orders of magnitude improvement in terms of acceleration without compromising reconstruction quality. To accelerate the training process, we parameterize a neural surface representation by multi-resolution hash encodings and present a novel lightweight calculation of second-order derivatives tailored to our networks to leverage CUDA parallelism, achieving a factor two speed up. To further stabilize and expedite training, a progressive learning strategy is proposed to optimize multi-resolution hash encodings from coarse to fine. We extend our method for fast training of dynamic scenes, with a proposed incremental training strategy and a novel global transformation prediction component, which allow our method to handle challenging long sequences with large movements and deformations. Our experiments on various datasets demonstrate that NeuS2 significantly outperforms the state-of-the-arts in both surface reconstruction accuracy and training speed for both static and dynamic scenes. The code is available at our website: .
updated: Thu Nov 16 2023 22:00:04 GMT+0000 (UTC)
published: Sat Dec 10 2022 07:19:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト