arXiv reaDer
One is All: プログレッシブ ボリューム ディスティレーションによるニューラル ラディアンス フィールド アーキテクチャ間のギャップの橋渡し
One is All: Bridging the Gap Between Neural Radiance Fields Architectures with Progressive Volume Distillation
Neural Radiance Fields (NeRF) メソッドは、3D シーンのコンパクトで高品質で用途の広い表現として効果的であることが証明されており、編集、検索、ナビゲーションなどのダウンストリーム タスクを可能にします。さまざまなニューラル アーキテクチャが、NeRF のコア構造をめぐって争っています。単純な多層パーセプトロン (MLP)、スパース テンソル、低ランク テンソル、ハッシュテーブル、およびそれらの構成。これらの各表現には、特定の一連のトレードオフがあります。たとえば、ハッシュテーブルベースの表現はより高速なトレーニングとレンダリングを可能にしますが、明確な幾何学的意味が欠如しているため、空間関係を意識した編集などのダウンストリーム タスクが妨げられます。この論文では、プログレッシブ ボリューム ディスティレーション (PVD) を提案します。これは、MLP、スパースまたは低ランクのテンソル、ハッシュテーブル、およびそれらの構成を含む、異なるアーキテクチャ間のエニー ツー エニー変換を可能にする体系的な蒸留法です。その結果、PVD は、下流のアプリケーションが手元のタスクのニューラル表現を事後的に最適に適応できるようにします。浅いものから深いものへと、さまざまなレベルのボリューム表現で蒸留が徐々に実行されるため、変換は高速です。また、特定の数値不安定性の問題に対処するために、密度の特別な処理を採用しています。 NeRF-Synthetic、LLFF、および TanksAndTemples データセットでの方法を検証するための経験的証拠が提示されています。たとえば、PVD を使用すると、元の NeRF をゼロからトレーニングするよりも 10 倍から 20 倍速い速度でハッシュテーブル ベースの Instant-NGP モデルから MLP ベースの NeRF モデルを抽出でき、優れたレベルの合成品質を実現できます。コードは https://github.com/megvii-research/AAAI2023-PVD で入手できます。
Neural Radiance Fields (NeRF) methods have proved effective as compact, high-quality and versatile representations for 3D scenes, and enable downstream tasks such as editing, retrieval, navigation, etc. Various neural architectures are vying for the core structure of NeRF, including the plain Multi-Layer Perceptron (MLP), sparse tensors, low-rank tensors, hashtables and their compositions. Each of these representations has its particular set of trade-offs. For example, the hashtable-based representations admit faster training and rendering but their lack of clear geometric meaning hampers downstream tasks like spatial-relation-aware editing. In this paper, we propose Progressive Volume Distillation (PVD), a systematic distillation method that allows any-to-any conversions between different architectures, including MLP, sparse or low-rank tensors, hashtables and their compositions. PVD consequently empowers downstream applications to optimally adapt the neural representations for the task at hand in a post hoc fashion. The conversions are fast, as distillation is progressively performed on different levels of volume representations, from shallower to deeper. We also employ special treatment of density to deal with its specific numerical instability problem. Empirical evidence is presented to validate our method on the NeRF-Synthetic, LLFF and TanksAndTemples datasets. For example, with PVD, an MLP-based NeRF model can be distilled from a hashtable-based Instant-NGP model at a 10X~20X faster speed than being trained the original NeRF from scratch, while achieving a superior level of synthesis quality. Code is available at https://github.com/megvii-research/AAAI2023-PVD.
updated: Tue Jan 03 2023 07:42:01 GMT+0000 (UTC)
published: Tue Nov 29 2022 07:21:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト