arXiv reaDer
動的ニューラル放射輝度フィールドに必要なのは時間補間だけ
Temporal Interpolation Is All You Need for Dynamic Neural Radiance Fields
時間補間は、動的なシーンで意味のある表現を学習するために重要な役割を果たします。この論文では、特徴ベクトルの時間補間に基づいて、動的シーンの 4 次元時空間ニューラル放射輝度フィールドをトレーニングするための新しい方法を提案します。基になる表現、ニューラル表現またはグリッド表現に応じて、2 つの特徴補間方法が提案されます。ニューラル表現では、複数のニューラル ネットワーク モジュールを介して時空間入力から特徴を抽出し、時間枠に基づいて補間します。提案されたマルチレベル機能補間ネットワークは、短期および長期の両方の時間範囲の機能を効果的にキャプチャします。グリッド表現では、時空間の特徴は 4 次元のハッシュ グリッドを介して学習されます。グリッド表現はトレーニング時間を大幅に短縮し、トレーニング済みモデルのレンダリング品質を維持しながら、ニューラル ネットワーク モデルと比較して 100 倍以上高速です。静的および動的機能の連結と単純な平滑項の追加により、提案されたモデルのパフォーマンスがさらに向上します。そのネットワーク アーキテクチャの単純さにもかかわらず、提案された方法がニューラル表現で以前の研究よりも優れたパフォーマンスを示し、グリッド表現で最速のトレーニング速度を示すことを示します。
Temporal interpolation often plays a crucial role to learn meaningful representations in dynamic scenes. In this paper, we propose a novel method to train four-dimensional spatiotemporal neural radiance fields of dynamic scenes based on temporal interpolation of feature vectors. Two feature interpolation methods are suggested depending on underlying representations, neural or grid representation. In neural representation, we extract features from space-time inputs via multiple neural network modules and interpolate them based on time frames. The proposed multi-level feature interpolation network effectively captures features of both short-term and long-term time ranges. In grid representation, space-time features are learned via four-dimensional hash grids. The grid representation remarkably reduces training time, which is more than 100× faster compared to the neural network models, while maintaining the rendering quality of trained models. Concatenation of static and dynamic features and addition of simple smoothness term further improves the performance of the proposed models. Despite the simplicity of its network architecture, we demonstrate that the proposed method shows superior performance to previous works in neural representation and shows the fastest training speed in grid representation.
updated: Sat Feb 18 2023 12:01:23 GMT+0000 (UTC)
published: Sat Feb 18 2023 12:01:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト