arXiv reaDer
PointConv: Deep Convolutional Networks on 3D Point Clouds
通常の密なグリッドで表される画像とは異なり、3D点群は不規則で順序付けられていないため、畳み込みを適用するのは難しい場合があります。このホワイトペーパーでは、動的フィルターをPointConvという名前の新しい畳み込み演算に拡張します。 PointConvをポイントクラウドに適用して、深い畳み込みネットワークを構築できます。畳み込みカーネルを、重み関数と密度関数で構成される3Dポイントのローカル座標の非線形関数として扱います。与えられた点に関して、重み関数は多層パーセプトロンネットワークで学習され、密度関数はカーネル密度推定によって学習されます。この作業の最も重要な貢献は、重み関数を効率的に計算するために提案された新しい再定式化です。これにより、ネットワークを劇的にスケールアップし、そのパフォーマンスを大幅に向上させることができました。学習した畳み込みカーネルを使用して、3D空間に設定された任意の点で並進不変および順列不変の畳み込みを計算できます。さらに、PointConvをデコンボリューション演算子として使用して、サブサンプリングされた点群から元の解像度にフィーチャを伝播することもできます。 ModelNet40、ShapeNet、およびScanNetでの実験は、PointConv上に構築された深い畳み込みニューラルネットワークが、3Dポイントクラウドでの挑戦的なセマンティックセグメンテーションベンチマークで最先端を達成できることを示しています。さらに、CIFAR-10をポイントクラウドに変換する実験では、PointConv上に構築されたネットワークが、同様の構造の2D画像の畳み込みネットワークのパフォーマンスに匹敵することが示されました。
Unlike images which are represented in regular dense grids, 3D point clouds are irregular and unordered, hence applying convolution on them can be difficult. In this paper, we extend the dynamic filter to a new convolution operation, named PointConv. PointConv can be applied on point clouds to build deep convolutional networks. We treat convolution kernels as nonlinear functions of the local coordinates of 3D points comprised of weight and density functions. With respect to a given point, the weight functions are learned with multi-layer perceptron networks and density functions through kernel density estimation. The most important contribution of this work is a novel reformulation proposed for efficiently computing the weight functions, which allowed us to dramatically scale up the network and significantly improve its performance. The learned convolution kernel can be used to compute translation-invariant and permutation-invariant convolution on any point set in the 3D space. Besides, PointConv can also be used as deconvolution operators to propagate features from a subsampled point cloud back to its original resolution. Experiments on ModelNet40, ShapeNet, and ScanNet show that deep convolutional neural networks built on PointConv are able to achieve state-of-the-art on challenging semantic segmentation benchmarks on 3D point clouds. Besides, our experiments converting CIFAR-10 into a point cloud showed that networks built on PointConv can match the performance of convolutional networks in 2D images of a similar structure.
updated: Mon Nov 09 2020 21:20:22 GMT+0000 (UTC)
published: Sat Nov 17 2018 23:42:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト