深い畳み込みニューラルネットワーク(CNN)は、画像を意味的にセグメント化するタスクで卓越したパフォーマンスを示しています。 3Dデータに同じ方法を適用すると、メモリ要件が高く、構造化データが不足しているため、依然として課題があります。ここでは、生の点群を入力として受け取る3Dセマンティックセグメンテーションの新しいアプローチであるLatticeNetを提案します。 PointNetは、スパースなpermutohedral格子に埋め込んだローカルジオメトリを記述します。ラティスにより、メモリフットプリントを低く抑えながら、高速な畳み込みが可能になります。さらに、点群に格子特徴を投影するための新しい学習済みデータ依存補間であるDeformSliceを紹介します。私たちの方法が最先端のパフォーマンスを達成する複数のデータセットでの3Dセグメンテーションの結果を提示します。また、インスタンスおよび動的オブジェクトセグメンテーションのためにネットワークを拡張および評価します。
Deep convolutional neural networks (CNNs) have shown outstanding performance in the task of semantically segmenting images. Applying the same methods on 3D data still poses challenges due to the heavy memory requirements and the lack of structured data. Here, we propose LatticeNet, a novel approach for 3D semantic segmentation, which takes raw point clouds as input. A PointNet describes the local geometry which we embed into a sparse permutohedral lattice. The lattice allows for fast convolutions while keeping a low memory footprint. Further, we introduce DeformSlice, a novel learned data-dependent interpolation for projecting lattice features back onto the point cloud. We present results of 3D segmentation on multiple datasets where our method achieves state-of-the-art performance. We also extend and evaluate our network for instance and dynamic object segmentation.