arXiv reaDer
Z2P: 点群のインスタント レンダリング
Z2P: Instant Rendering of Point Clouds
ニューラル ネットワークを使用して点群をレンダリングする手法を紹介します。既存のポイント レンダリング手法では、スプラッティングを使用するか、最初にサーフェス メッシュを再構築してからレンダリングできます。これらのテクニックは両方とも、グローバル ポイントの法線方向を解決する必要があります。これは、それ自体が難しい問題です。さらに、スプラッティング技術では穴や重なりが発生しますが、メッシュの再構築は特に表面やシートが薄い場合に困難です。レンダリングの問題を、条件付きの画像から画像への変換の問題としてキャストします。私たちの定式化では、Z2P、つまりターゲット カメラ ビューから見た深度拡張ポイント フィーチャは、制御変数 (色、光など) に応じて、ニューラル ネットワークによってレンダリングされた画像に直接変換されます。スプラッティング (つまり、穴やオーバーラップ) に関する避けられない問題を回避し、悪名高い困難な表面再構成問題の解決や、方向付けられた法線の推定をバイパスします。それでも、私たちのアプローチは、表面メッシュが再構築されたかのようにレンダリングされた画像になります。私たちのフレームワークがもっともらしい画像を生成し、ノイズ、不均一なサンプリング、薄い表面/シートを効果的に処理でき、高速であることを示しています。
We present a technique for rendering point clouds using a neural network. Existing point rendering techniques either use splatting, or first reconstruct a surface mesh that can then be rendered. Both of these techniques require solving for global point normal orientation, which is a challenging problem on its own. Furthermore, splatting techniques result in holes and overlaps, whereas mesh reconstruction is particularly challenging, especially in the cases of thin surfaces and sheets. We cast the rendering problem as a conditional image-to-image translation problem. In our formulation, Z2P, i.e., depth-augmented point features as viewed from target camera view, are directly translated by a neural network to rendered images, conditioned on control variables (e.g., color, light). We avoid inevitable issues with splatting (i.e., holes and overlaps), and bypass solving the notoriously challenging surface reconstruction problem or estimating oriented normals. Yet, our approach results in a rendered image as if a surface mesh was reconstructed. We demonstrate that our framework produces a plausible image, and can effectively handle noise, non-uniform sampling, thin surfaces / sheets, and is fast.
updated: Sun May 30 2021 13:58:24 GMT+0000 (UTC)
published: Sun May 30 2021 13:58:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト