arXiv reaDer
再パラメータ化されたボリューム サンプリングによる微分可能なレンダリング
Differentiable Rendering with Reparameterized Volume Sampling
ビュー合成では、ニューラル放射輝度フィールドは、シーン ピクチャのまばらなセットに基づいて、基礎となる密度フィールドと放射輝度フィールドを近似します。新しいビューのピクセルを生成するために、ピクセル内に光線を進め、高密度の光線点のセットから放射される放射輝度の加重合計を計算します。このレンダリング アルゴリズムは完全に微分可能であり、フィールドの勾配ベースの最適化が容易になります。ただし、実際には、合計に対する放射輝度の大部分に寄与するのは、光線のごくわずかな不透明部分だけです。逆変換サンプリングに基づく単純なエンドツーエンド微分可能サンプリング アルゴリズムを提案します。密度場によって引き起こされる確率分布に従ってサンプルを生成し、光線上の不透明な点を選択します。このアルゴリズムを 2 つの方法で利用します。まず、モンテカルロ推定に基づいた新しいレンダリング アプローチを提案します。このアプローチにより、レイごとにわずか数回の放射輝度フィールド呼び出しで神経放射輝度フィールドを評価および最適化することができます。次に、サンプリング アルゴリズムを使用して、元の NeRF の研究で提案された階層スキームを変更します。私たちの修正により、階層モデルの再構成の品質が向上し、同時に補助提案ネットワーク損失の必要性がなくなることでトレーニング手順が簡素化されることを示します。
In view synthesis, a neural radiance field approximates underlying density and radiance fields based on a sparse set of scene pictures. To generate a pixel of a novel view, it marches a ray through the pixel and computes a weighted sum of radiance emitted from a dense set of ray points. This rendering algorithm is fully differentiable and facilitates gradient-based optimization of the fields. However, in practice, only a tiny opaque portion of the ray contributes most of the radiance to the sum. We propose a simple end-to-end differentiable sampling algorithm based on inverse transform sampling. It generates samples according to the probability distribution induced by the density field and picks non-transparent points on the ray. We utilize the algorithm in two ways. First, we propose a novel rendering approach based on Monte Carlo estimates. This approach allows for evaluating and optimizing a neural radiance field with just a few radiance field calls per ray. Second, we use the sampling algorithm to modify the hierarchical scheme proposed in the original NeRF work. We show that our modification improves reconstruction quality of hierarchical models, at the same time simplifying the training procedure by removing the need for auxiliary proposal network losses.
updated: Wed May 10 2023 14:15:16 GMT+0000 (UTC)
published: Tue Feb 21 2023 19:56:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト