arXiv reaDer
ラディアンス マッピングによるポイント クラウド レンダリングのブースト
Boosting Point Clouds Rendering via Radiance Mapping
近年、その高品質により、NeRF ベースの画像レンダリングが急速に発展しています。ただし、ポイント クラウドのレンダリングは、どういうわけかあまり調査されていません。高密度の空間サンプリングに悩まされる NeRF ベースのレンダリングと比較して、ポイント クラウド レンダリングは当然ながら計算負荷が低く、モバイル コンピューティング デバイスへの展開が可能になります。この作業では、コンパクトなモデル設計で点群レンダリングの画質を向上させることに焦点を当てています。最初に、点群に対するボリューム レンダリング定式化の適応を分析します。分析に基づいて、ピクセルごとに 1 つの評価しか必要としない空間マッピング関数に NeRF 表現を単純化します。さらに、レイ マーチングによって動機付けられて、ノイズの多い生のポイント クラウドを、クエリされた座標としてレイとサーフェスの間の推定交点に修正します。これにより、空間周波数の崩壊と隣接点の乱れを回避できます。ラスタライゼーション、空間マッピング、改良段階で構成されるこの方法は、点群レンダリングで最先端のパフォーマンスを実現し、以前の作業を大幅に上回り、モデルサイズを小さくします。 NeRF-Synthetic で 31.74、ScanNet で 25.88、DTU で 30.81 の PSNR が得られます。コードとデータは、https://github.com/seanywang0408/RadianceMapping で公開されています。
Recent years we have witnessed rapid development in NeRF-based image rendering due to its high quality. However, point clouds rendering is somehow less explored. Compared to NeRF-based rendering which suffers from dense spatial sampling, point clouds rendering is naturally less computation intensive, which enables its deployment in mobile computing device. In this work, we focus on boosting the image quality of point clouds rendering with a compact model design. We first analyze the adaption of the volume rendering formulation on point clouds. Based on the analysis, we simplify the NeRF representation to a spatial mapping function which only requires single evaluation per pixel. Further, motivated by ray marching, we rectify the the noisy raw point clouds to the estimated intersection between rays and surfaces as queried coordinates, which could avoid spatial frequency collapse and neighbor point disturbance. Composed of rasterization, spatial mapping and the refinement stages, our method achieves the state-of-the-art performance on point clouds rendering, outperforming prior works by notable margins, with a smaller model size. We obtain a PSNR of 31.74 on NeRF-Synthetic, 25.88 on ScanNet and 30.81 on DTU. Code and data are publicly available at https://github.com/seanywang0408/RadianceMapping.
updated: Thu Dec 08 2022 01:52:34 GMT+0000 (UTC)
published: Thu Oct 27 2022 01:25:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト