arXiv reaDer
再パラメータ化されたボリューム サンプリングによる微分可能なレンダリング
Differentiable Rendering with Reparameterized Volume Sampling
ビュー合成では、ニューラル放射輝度フィールドは、シーン画像のまばらなセットに基づいて、基になる密度フィールドと放射輝度フィールドを近似します。新しいビューのピクセルを生成するために、ピクセルを介して光線を行進させ、光線ポイントの密なセットから放射される放射輝度の加重和を計算します。このレンダリング アルゴリズムは完全に微分可能であり、フィールドの勾配ベースの最適化を容易にします。ただし、実際には、光線のわずかな不透明部分のみが、合計に対する放射輝度の大部分に寄与します。逆変換サンプリングに基づくエンドツーエンドの微分可能なサンプリング アルゴリズムを提案します。密度フィールドによって引き起こされる確率分布に従ってサンプルを生成し、レイ上の不透明なポイントを選択します。このアルゴリズムを 2 つの方法で使用します。まず、モンテカルロ推定に基づく新しいレンダリング アプローチを提案します。このようなレンダリング アルゴリズムを使用すると、レイごとにほんの数回の放射輝度フィールド評価で神経放射輝度フィールドを最適化できます。次に、サンプリング アルゴリズムを使用して、ニューラル ラディアンス フィールドに関する元の研究で使用された階層スキームを変更します。このセットアップでは、補助損失なしで提案ネットワークをエンドツーエンドでトレーニングし、ベースライン パフォーマンスを向上させることができました。
In view synthesis, a neural radiance field approximates underlying density and radiance fields based on a sparse set of scene pictures. To generate a pixel of a novel view, it marches a ray through the pixel and computes a weighted sum of radiance emitted from a dense set of ray points. This rendering algorithm is fully differentiable and facilitates gradient-based optimization of the fields. However, in practice, only a tiny opaque portion of the ray contributes most of the radiance to the sum. We propose an end-to-end differentiable sampling algorithm based on inverse transform sampling. It generates samples according to the probability distribution induced by the density field and picks non-transparent points on the ray. We utilize the algorithm in two ways. First, we propose a novel rendering approach based on Monte Carlo estimates. Such a rendering algorithm allows for optimizing a neural radiance field with just a few radiance field evaluations per ray. Second, we use the sampling algorithm to modify the hierarchical scheme used in the original work on neural radiance fields. In this setup, we were able to train the proposal network end-to-end without any auxiliary losses and improved the baseline performance.
updated: Tue Feb 21 2023 19:56:50 GMT+0000 (UTC)
published: Tue Feb 21 2023 19:56:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト