arXiv reaDer
SnowflakeNet:スキップトランスフォーマーを使用したSnowflakeポイントデコンボリューションによるポイントクラウドの完了
SnowflakeNet: Point Cloud Completion by Snowflake Point Deconvolution with Skip-Transformer
点群の完成は、部分的な観測から完全な形状を高精度で予測することを目的としています。ただし、以前の方法では、通常、点群の離散的な性質と局所領域内の点の構造化されていない予測に悩まされていたため、完全な形状で局所的な幾何学的詳細を明らかにすることは困難でした。この問題を解決するために、Snowflake Point Deconvolution(SPD)を使用してSnowflakeNetを提案し、完全な点群を生成します。 SnowflakeNetは、完全なポイントクラウドの生成を、3D空間内のポイントのスノーフレークのような成長としてモデル化します。子ポイントは、各SPDの後に親ポイントを分割することによって段階的に生成されます。詳細なジオメトリを明らかにするという私たちの洞察は、SPDにスキップトランスフォーマーを導入して、ローカル領域に最適に適合するポイント分割パターンを学習することです。 Skip-transformerは、アテンションメカニズムを利用して、前のSPDレイヤーで使用された分割パターンを要約し、現在のSPDレイヤーで分割を生成します。 SPDによって生成された局所的にコンパクトで構造化された点群は、局所パッチの3D形状に特徴的な構造を正確にキャプチャできます。これにより、ネットワークは、滑らかな領域、鋭いエッジ、コーナーなどの非常に詳細なジオメトリを予測できます。私たちの実験結果は、広く使用されているベンチマークの下で、最先端の点群補完方法を上回っています。コードはhttps://github.com/AllenXiangX/SnowflakeNetで入手できます。
Point cloud completion aims to predict a complete shape in high accuracy from its partial observation. However, previous methods usually suffered from discrete nature of point cloud and unstructured prediction of points in local regions, which makes it hard to reveal fine local geometric details on the complete shape. To resolve this issue, we propose SnowflakeNet with Snowflake Point Deconvolution (SPD) to generate the complete point clouds. The SnowflakeNet models the generation of complete point clouds as the snowflake-like growth of points in 3D space, where the child points are progressively generated by splitting their parent points after each SPD. Our insight of revealing detailed geometry is to introduce skip-transformer in SPD to learn point splitting patterns which can fit local regions the best. Skip-transformer leverages attention mechanism to summarize the splitting patterns used in the previous SPD layer to produce the splitting in the current SPD layer. The locally compact and structured point cloud generated by SPD is able to precisely capture the structure characteristic of 3D shape in local patches, which enables the network to predict highly detailed geometries, such as smooth regions, sharp edges and corners. Our experimental results outperform the state-of-the-art point cloud completion methods under widely used benchmarks. Code will be available at https://github.com/AllenXiangX/SnowflakeNet.
updated: Tue Aug 10 2021 04:33:37 GMT+0000 (UTC)
published: Tue Aug 10 2021 04:33:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト