最近、不規則にサンプリングされた点群に対して畳み込みを実行することに大きな関心が寄せられています。点群は通常のラスター画像とは大きく異なるため、畳み込みネットワークの一般化、特に入力データのスケールと回転の変化の下でのロバスト性をより詳細に調査することが不可欠です。このホワイトペーパーでは、ポイントクラウド上の畳み込みネットワークであるPointConvのさまざまなバリアントを調査して、入力スケールと回転の変化に対するロバスト性を調べます。私たちが調査したバリアントのうち、2つは新規であり、大幅な改善をもたらしました。 1つ目は、多層パーセプトロンベースの重み関数を、ソボレフノルム正則化とともに、はるかに単純な3次多項式に置き換えることです。次に、3Dデータセットの場合、通常の3D座標に加えて、PointConvへの入力として3D幾何学的プロパティを利用することにより、新しい視点不変記述子を導出します。また、活性化関数、近傍、およびサブサンプリング方法の選択についても検討しました。実験は、2D MNIST&CIFAR-10データセット、および3D SemanticKITTI&ScanNetデータセットで実施されます。結果は、2Dで、3次多項式を使用すると、MNISTデータセットの従来の2D CNNを超えて、変更と回転をスケーリングするためのPointConvの堅牢性が大幅に向上することを示しています。 3Dデータセットでは、新しい視点不変記述子により、PointConvのパフォーマンスと堅牢性が大幅に向上します。 SemanticKITTIデータセットで最先端のセマンティックセグメンテーションパフォーマンスを実現し、ポイントベースのアプローチの中でScanNetデータセットで現在最高のフレームワークと同等のパフォーマンスを実現します。
Recently, there has been a significant interest in performing convolution over irregularly sampled point clouds. Since point clouds are very different from regular raster images, it is imperative to study the generalization of the convolution networks more closely, especially their robustness under variations in scale and rotations of the input data. This paper investigates different variants of PointConv, a convolution network on point clouds, to examine their robustness to input scale and rotation changes. Of the variants we explored, two are novel and generated significant improvements. The first is replacing the multilayer perceptron based weight function with much simpler third degree polynomials, together with a Sobolev norm regularization. Secondly, for 3D datasets, we derive a novel viewpoint-invariant descriptor by utilizing 3D geometric properties as the input to PointConv, in addition to the regular 3D coordinates. We have also explored choices of activation functions, neighborhood, and subsampling methods. Experiments are conducted on the 2D MNIST & CIFAR-10 datasets as well as the 3D SemanticKITTI & ScanNet datasets. Results reveal that on 2D, using third degree polynomials greatly improves PointConv's robustness to scale changes and rotations, even surpassing traditional 2D CNNs for the MNIST dataset. On 3D datasets, the novel viewpoint-invariant descriptor significantly improves the performance as well as robustness of PointConv. We achieve the state-of-the-art semantic segmentation performance on the SemanticKITTI dataset, as well as comparable performance with the current highest framework on the ScanNet dataset among point-based approaches.