ほとんどの既存の点群補完方法は、点群の離散的な性質と局所領域内の点の構造化されていない予測に悩まされており、局所的な幾何学的詳細を明らかにすることを困難にしています。この問題を解決するために、スノーフレーク ポイント デコンボリューション (SPD) を使用して完全な点群を生成する SnowflakeNet を提案します。 SPD は、ポイント クラウドの生成をスノーフレークのようなポイントの成長としてモデル化し、子ポイントは各 SPD の後で親ポイントを分割することによって徐々に生成されます。詳細なジオメトリに対する私たちの洞察は、SPD にスキップ変換器を導入して、局所領域に最適なポイント分割パターンを学習することです。スキップ トランスフォーマーはアテンション メカニズムを活用して、前の SPD レイヤーで使用された分割パターンを要約し、現在のレイヤーで分割を生成します。 SPD によって生成された局所的にコンパクトで構造化された点群は、局所パッチの 3D 形状の構造特性を正確に明らかにし、非常に詳細な形状を予測することを可能にします。さらに、SPD は完了に限定されない一般的な操作であるため、点群の自動エンコード、生成、単一画像の再構成、アップサンプリングなど、他の生成タスクへの応用を探ります。私たちの実験結果は、広く使用されているベンチマークの下で最先端の方法よりも優れています。
Most existing point cloud completion methods suffer from the discrete nature of point clouds and the unstructured prediction of points in local regions, which makes it difficult to reveal fine local geometric details. To resolve this issue, we propose SnowflakeNet with snowflake point deconvolution (SPD) to generate complete point clouds. SPD models the generation of point clouds as the snowflake-like growth of points, where child points are generated progressively by splitting their parent points after each SPD. Our insight into the detailed geometry is to introduce a skip-transformer in the SPD to learn the point splitting patterns that can best fit the local regions. The skip-transformer leverages attention mechanism to summarize the splitting patterns used in the previous SPD layer to produce the splitting in the current layer. The locally compact and structured point clouds generated by SPD precisely reveal the structural characteristics of the 3D shape in local patches, which enables us to predict highly detailed geometries. Moreover, since SPD is a general operation that is not limited to completion, we explore its applications in other generative tasks, including point cloud auto-encoding, generation, single image reconstruction, and upsampling. Our experimental results outperform state-of-the-art methods under widely used benchmarks.