3Dセンサーから取得した点群は通常まばらです。既存の方法は、主に、密なグラウンドトゥルースポイントクラウドを使用して、監視ありの方法でスパースポイントクラウドをアップサンプリングすることに焦点を当てています。本論文では、グラウンドトゥルースを使用せずに高密度の点群を生成するための自己監視点群アップサンプリングネットワーク(SSPU-Net)を提案します。これを実現するために、入力スパースポイントクラウドと生成されたデンスポイントクラウドの間の一貫性を利用して、形状とレンダリングされた画像を作成します。具体的には、まず、スパースポイントクラウドをアップサンプリングするネイバーエクスパンションユニット(NEU)を提案します。ここでは、スパースポイントクラウドのローカル幾何学的構造を利用して、ポイント補間の重みを学習します。次に、ネットワーク内のエンドツーエンドモジュールとして微分可能な点群レンダリングユニット(DRU)を開発し、点群をマルチビュー画像にレンダリングします。最後に、形状整合性のある損失と画像整合性のある損失を定式化して、ネットワークをトレーニングし、疎な点群と密な点群の形状が可能な限り一貫するようにします。 CADおよびスキャンされたデータセットに関する広範な結果は、私たちの方法が自己監視方式で印象的な結果を達成できることを示しています。コードはhttps://github.com/Avlon/SSPU-Netで入手できます。
Point clouds obtained from 3D sensors are usually sparse. Existing methods mainly focus on upsampling sparse point clouds in a supervised manner by using dense ground truth point clouds. In this paper, we propose a self-supervised point cloud upsampling network (SSPU-Net) to generate dense point clouds without using ground truth. To achieve this, we exploit the consistency between the input sparse point cloud and generated dense point cloud for the shapes and rendered images. Specifically, we first propose a neighbor expansion unit (NEU) to upsample the sparse point clouds, where the local geometric structures of the sparse point clouds are exploited to learn weights for point interpolation. Then, we develop a differentiable point cloud rendering unit (DRU) as an end-to-end module in our network to render the point cloud into multi-view images. Finally, we formulate a shape-consistent loss and an image-consistent loss to train the network so that the shapes of the sparse and dense point clouds are as consistent as possible. Extensive results on the CAD and scanned datasets demonstrate that our method can achieve impressive results in a self-supervised manner. Code is available at https://github.com/Avlon/SSPU-Net.