arXiv reaDer
少数ショットビュー合成のための低周波ニューラルフィールドの利用
Harnessing Low-Frequency Neural Fields for Few-Shot View Synthesis
Neural Radiance Fields (NeRF) は、新しいビュー合成問題のブレークスルーをもたらしました。位置エンコーディング (PE) は、低次元座標が高次元空間にマッピングされてシーンの詳細をより適切に復元する NeRF の優れたパフォーマンスをもたらす重要な要素です。ただし、やみくもに PE の頻度を増やすと、トレーニング用のショット数が少ない画像など、再構成の問題が非常に制約不足である場合にオーバーフィッティングにつながります。低周波ニューラル フィールドを利用して、オーバーフィッティングから高周波ニューラル フィールドを正則化し、少数ショット ビュー合成の問題により適切に対処します。低周波のみのフィールドで再構成し、高周波を装備したフィールドで細部を仕上げることを提案します。出力空間 (つまり、レンダリングされた画像) を正則化するほとんどの既存のソリューションとは異なり、我々の正則化は入力空間 (つまり、信号周波数) で行われます。さらに、レンダリングされた 2D 画像の周波数ドメイン間で一貫性を確保することで、少数ショット入力のオーバーフィッティングを回避するために周波数を調整するためのシンプルかつ効果的な戦略を提案します。入力空間の正則化スキームのおかげで、動的シーンの時間次元など、空間位置を超えた入力に簡単に適用できます。合成データセットと自然データセットの両方で最先端技術と比較することで、少数ショット ビュー合成に対する提案されたソリューションの有効性が検証されます。コードは https://github.com/lsongx/halohttps://github.com/lsongx/halo で入手できます。
Neural Radiance Fields (NeRF) have led to breakthroughs in the novel view synthesis problem. Positional Encoding (P.E.) is a critical factor that brings the impressive performance of NeRF, where low-dimensional coordinates are mapped to high-dimensional space to better recover scene details. However, blindly increasing the frequency of P.E. leads to overfitting when the reconstruction problem is highly underconstrained, e.g. , few-shot images for training. We harness low-frequency neural fields to regularize high-frequency neural fields from overfitting to better address the problem of few-shot view synthesis. We propose reconstructing with a low-frequency only field and then finishing details with a high-frequency equipped field. Unlike most existing solutions that regularize the output space (i.e. , rendered images), our regularization is conducted in the input space (i.e. , signal frequency). We further propose a simple-yet-effective strategy for tuning the frequency to avoid overfitting few-shot inputs: enforcing consistency among the frequency domain of rendered 2D images. Thanks to the input space regularizing scheme, our method readily applies to inputs beyond spatial locations, such as the time dimension in dynamic scenes. Comparisons with state-of-the-art on both synthetic and natural datasets validate the effectiveness of our proposed solution for few-shot view synthesis. Code is available at https://github.com/lsongx/halohttps://github.com/lsongx/halo.
updated: Wed Mar 15 2023 05:15:21 GMT+0000 (UTC)
published: Wed Mar 15 2023 05:15:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト