点群を表面であるかのようにレンダリングする新しい方法を提案します。提案された方法は微分可能であり、シーン固有の最適化は必要ありません。この独自の機能により、すぐに使える表面法線推定、ルーム スケールのポイント クラウドのレンダリング、逆レンダリング、およびグローバル イルミネーションを使用したレイ トレーシングが可能になります。点群を他の表現 (サーフェスや陰関数など) に変換することに焦点を当てた既存の作業とは異なり、私たちの重要なアイデアは、与えられた点群によって表される下にあるサーフェスと光線の交差を直接推測することです。具体的には、光線に沿った少数のローカル近傍点を指定して、この光線の結果をレンダリングするために使用される交点、表面法線、およびマテリアル ブレンディング ウェイトを提供するセット トランスフォーマーをトレーニングします。問題を小さな近傍に局所化することで、48 メッシュのみでモデルをトレーニングし、目に見えない点群に適用することができます。私たちのモデルは、3 つのテスト セットで、最先端の表面再構成および点群レンダリング方法よりも高い推定精度を実現しています。シーン固有の最適化を行わずにルーム スケールのポイント クラウドに適用すると、モデルは最先端の斬新なビュー レンダリング方法で競争力のある品質を実現します。さらに、照明制御やオブジェクト挿入など、Lidar スキャンされた点群をレンダリングおよび操作する機能を示します。
We propose a novel method that renders point clouds as if they are surfaces. The proposed method is differentiable and requires no scene-specific optimization. This unique capability enables, out-of-the-box, surface normal estimation, rendering room-scale point clouds, inverse rendering, and ray tracing with global illumination. Unlike existing work that focuses on converting point clouds to other representations--e.g., surfaces or implicit functions--our key idea is to directly infer the intersection of a light ray with the underlying surface represented by the given point cloud. Specifically, we train a set transformer that, given a small number of local neighbor points along a light ray, provides the intersection point, the surface normal, and the material blending weights, which are used to render the outcome of this light ray. Localizing the problem into small neighborhoods enables us to train a model with only 48 meshes and apply it to unseen point clouds. Our model achieves higher estimation accuracy than state-of-the-art surface reconstruction and point-cloud rendering methods on three test sets. When applied to room-scale point clouds, without any scene-specific optimization, the model achieves competitive quality with the state-of-the-art novel-view rendering methods. Moreover, we demonstrate ability to render and manipulate Lidar-scanned point clouds such as lighting control and object insertion.