このホワイトペーパーでは、セマンティックパーツに関する3D点群オブジェクトモデルの潜在的な変更と生成に焦点を当てます。パーツの生成とアセンブリに別々のネットワークを使用する既存の方法とは異なり、セマンティックパーツとグローバル形状の両方の生成と変更を処理できる単一のエンドツーエンドの自動エンコーダモデルを提案します。提案された方法は、潜在的な表現を直接編集して新しいモデルを形成するために、3D点群モデル間のパーツ交換とさまざまなパーツによる構成をサポートしています。この全体論的なアプローチでは、パーツの表現を学習するためにパーツベースのトレーニングを必要とせず、標準の再構成損失以外に余分な損失を導入しません。実験は、さまざまなオブジェクトカテゴリとさまざまな数のポイントを使用した提案手法の堅牢性を示しています。この方法では、GANやVAEなどの生成モデルを統合して新しいモデルを生成でき、セグメンテーションモジュールを統合して、注釈のない点群を操作できます。
In this paper, we focus on latent modification and generation of 3D point cloud object models with respect to their semantic parts. Different to the existing methods which use separate networks for part generation and assembly, we propose a single end-to-end Autoencoder model that can handle generation and modification of both semantic parts, and global shapes. The proposed method supports part exchange between 3D point cloud models and composition by different parts to form new models by directly editing latent representations. This holistic approach does not need part-based training to learn part representations and does not introduce any extra loss besides the standard reconstruction loss. The experiments demonstrate the robustness of the proposed method with different object categories and varying number of points. The method can generate new models by integration of generative models such as GANs and VAEs and can work with unannotated point clouds by integration of a segmentation module.