NeRF-SRは、主に低解像度(LR)入力を使用した高解像度(HR)の新しいビュー合成のソリューションです。私たちの方法は、多層パーセプトロンを使用してポイントごとの密度と色を予測するNeural Radiance Fields(NeRF)に基づいて構築されています。 NeRFは任意の縮尺で画像を生成する一方で、観察された画像を超える解像度に苦労しています。私たちの重要な洞察は、NeRFにはローカルの事前分布があるということです。つまり、3Dポイントの予測を近くの領域に伝播し、正確さを保つことができます。最初に、各画像ピクセルで複数の光線を発射するスーパーサンプリング戦略によってそれを活用します。これにより、サブピクセルレベルでマルチビュー制約が適用されます。次に、NeRF-SRが、手元の推定深度を活用してHR参照画像上の関連パッチから詳細を幻覚化する改良ネットワークによって、スーパーサンプリングのパフォーマンスをさらに向上させることができることを示します。実験結果は、NeRF-SRが、合成データセットと実世界のデータセットの両方で、HRでの新しいビュー合成に対して高品質の結果を生成することを示しています。
We present NeRF-SR, a solution for high-resolution (HR) novel view synthesis with mostly low-resolution (LR) inputs. Our method is built upon Neural Radiance Fields (NeRF) that predicts per-point density and color with a multi-layer perceptron. While producing images at arbitrary scales, NeRF struggles with resolutions that go beyond observed images. Our key insight is that NeRF has a local prior, which means predictions of a 3D point can be propagated in the nearby region and remain accurate. We first exploit it by a super-sampling strategy that shoots multiple rays at each image pixel, which enforces multi-view constraint at a sub-pixel level. Then, we show that NeRF-SR can further boost the performance of super-sampling by a refinement network that leverages the estimated depth at hand to hallucinate details from related patches on an HR reference image. Experiment results demonstrate that NeRF-SR generates high-quality results for novel view synthesis at HR on both synthetic and real-world datasets.