ビュー合成のタスクに対処します。これは、既存の画像のセットから新しいビューをレンダリングするレンダリング機能を回復することを目的としています。 NeRFなどの最近の多くの作品では、このレンダリング関数は、シーンジオメトリの暗黙的なニューラル表現を使用してパラメータ化されています。暗黙のニューラル表現は印象的な視覚品質を達成しましたが、計算効率に欠点があります。この作業では、点群を使用してビュー合成を実行する新しいアプローチを提案します。これは、レンダリング速度を100倍以上高速化しながら、NeRFよりも優れた視覚品質を実現する最初のポイントベースの方法です。私たちのアプローチは、微分可能なポイントベースのレンダリングに関する既存の作業に基づいていますが、「Sculpted Neural Points(SNP)」と呼ばれる新しい手法を導入しています。これにより、再構築されたポイントクラウドのエラーやホールに対する堅牢性が大幅に向上します。実験は、ビュー合成のタスクで、私たちの彫刻技術がポイントベースの方法と暗黙の表現ベースの方法の間のギャップを埋めることを示しています。コードはhttps://github.com/princeton-vl/SNPで入手でき、補足ビデオはhttps://youtu.be/dBwCQP9uNwsで入手できます。
We address the task of view synthesis, which can be posed as recovering a rendering function that renders new views from a set of existing images. In many recent works such as NeRF, this rendering function is parameterized using implicit neural representations of scene geometry. Implicit neural representations have achieved impressive visual quality but have drawbacks in computational efficiency. In this work, we propose a new approach that performs view synthesis using point clouds. It is the first point-based method to achieve better visual quality than NeRF while being more than 100x faster in rendering speed. Our approach builds on existing works on differentiable point-based rendering but introduces a novel technique we call "Sculpted Neural Points (SNP)", which significantly improves the robustness to errors and holes in the reconstructed point cloud. Experiments show that on the task of view synthesis, our sculpting technique closes the gap between point-based and implicit representation-based methods. Code is available at https://github.com/princeton-vl/SNP and supplementary video at https://youtu.be/dBwCQP9uNws.