キャプチャされたマルチビュー画像から新しいビューをレンダリングすることは、神経放射フィールドの出現以来、大幅な進歩を遂げてきました。この論文は、ニューラル放射輝度特徴フィールド (NRFF) と呼ばれる新しいアプローチを提案することにより、ビュー合成の品質をさらに向上させることを目的としています。まず、粗いスケールから細かいスケールまでのシーンを表現できるように学習可能な特徴を整理するマルチスケール テンソル分解スキームを提案します。単一スケール表現と比較して、より正確なシーンの形状と外観の再構築、より高速な収束など、提案されたマルチスケール表現の多くの利点を実証します。さらに、視点依存効果をモデル化するために視点方向をエンコードする代わりに、提案されたマルチスケール表現から予測される異方性球面ガウス混合を使用して、特徴空間でレンダリング方程式をエンコードすることを提案します。提案された NRFF は、NeRF および NSVF 合成データセットの両方で PSNR が 1 dB 以上改善され、最先端のレンダリング結果を実現します。現実世界の戦車と寺院のデータセットでも大幅な改善が見られました。コードは https://github.com/imkanghan/nrff で見つけることができます。
Rendering novel views from captured multi-view images has made considerable progress since the emergence of the neural radiance field. This paper aims to further advance the quality of view synthesis by proposing a novel approach dubbed the neural radiance feature field (NRFF). We first propose a multiscale tensor decomposition scheme to organize learnable features so as to represent scenes from coarse to fine scales. We demonstrate many benefits of the proposed multiscale representation, including more accurate scene shape and appearance reconstruction, and faster convergence compared with the single-scale representation. Instead of encoding view directions to model view-dependent effects, we further propose to encode the rendering equation in the feature space by employing the anisotropic spherical Gaussian mixture predicted from the proposed multiscale representation. The proposed NRFF improves state-of-the-art rendering results by over 1 dB in PSNR on both the NeRF and NSVF synthetic datasets. A significant improvement has also been observed on the real-world Tanks & Temples dataset. Code can be found at https://github.com/imkanghan/nrff.