arXiv reaDer
神経陰関数曲面のボリュームレンダリング
Volume Rendering of Neural Implicit Surfaces
ニューラルボリュームレンダリングは、入力画像のまばらなセットからシーンの斬新なビューを合成することに成功したため、最近ますます人気が高まっています。これまで、ニューラルボリュームレンダリング手法によって学習されたジオメトリは、一般的な密度関数を使用してモデル化されていました。さらに、ジオメトリ自体は、ノイズの多い、多くの場合忠実度の低い再構成につながる密度関数の任意のレベルセットを使用して抽出されました。この論文の目的は、ニューラルボリュームレンダリングにおけるジオメトリ表現と再構成を改善することです。ジオメトリの関数として体積密度をモデル化することにより、これを実現します。これは、体積密度の関数としてジオメトリをモデル化する以前の作業とは対照的です。より詳細には、体積密度関数を、符号付き距離関数(SDF)表現に適用されるラプラスの累積分布関数(CDF)として定義します。この単純な密度表現には、次の3つの利点があります。(i)ニューラルボリュームレンダリングプロセスで学習したジオメトリに有用な誘導バイアスを提供します。 (ii)不透明度近似誤差の限界を容易にし、表示光線の正確なサンプリングにつながります。ジオメトリと放射輝度を正確に結合するには、正確なサンプリングが重要です。 (iii)ボリュームレンダリングにおける形状と外観の効率的な教師なし解きほぐしを可能にします。この新しい密度表現を挑戦的なシーンのマルチビューデータセットに適用すると、高品質のジオメトリ再構成が生成され、関連するベースラインを上回りました。さらに、2つの解きほぐしにより、シーン間で形状や外観を切り替えることができます。
Neural volume rendering became increasingly popular recently due to its success in synthesizing novel views of a scene from a sparse set of input images. So far, the geometry learned by neural volume rendering techniques was modeled using a generic density function. Furthermore, the geometry itself was extracted using an arbitrary level set of the density function leading to a noisy, often low fidelity reconstruction. The goal of this paper is to improve geometry representation and reconstruction in neural volume rendering. We achieve that by modeling the volume density as a function of the geometry. This is in contrast to previous work modeling the geometry as a function of the volume density. In more detail, we define the volume density function as Laplace's cumulative distribution function (CDF) applied to a signed distance function (SDF) representation. This simple density representation has three benefits: (i) it provides a useful inductive bias to the geometry learned in the neural volume rendering process; (ii) it facilitates a bound on the opacity approximation error, leading to an accurate sampling of the viewing ray. Accurate sampling is important to provide a precise coupling of geometry and radiance; and (iii) it allows efficient unsupervised disentanglement of shape and appearance in volume rendering. Applying this new density representation to challenging scene multiview datasets produced high quality geometry reconstructions, outperforming relevant baselines. Furthermore, switching shape and appearance between scenes is possible due to the disentanglement of the two.
updated: Tue Jun 22 2021 20:23:16 GMT+0000 (UTC)
published: Tue Jun 22 2021 20:23:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト