マルチビュー投影法は、3D分類やセグメンテーションなどの3D理解タスクで有望なパフォーマンスを示しています。ただし、このようなマルチビュー手法を広く利用可能な3D点群と組み合わせる方法は不明なままです。以前の方法では、学習されていないヒューリスティックを使用して、ポイントレベルで機能を組み合わせます。この目的のために、複数の視点から抽出された特徴のセットとして各3Dポイントを表す、マルチビューポイントクラウド(Vointクラウド)の概念を紹介します。この斬新な3DVointクラウド表現は、3Dポイントクラウド表現のコンパクトさとマルチビュー表現の自然なビュー認識を組み合わせたものです。当然、この新しい表現に畳み込み演算とプーリング演算を装備できます。 Voint空間での表現を学習するために、理論的に確立された関数形式でVointニューラルネットワーク(VointNet)を展開します。私たちの斬新な表現は、ScanObjectNN、ModelNet40、ShapeNetCore55での3D分類と検索で最先端のパフォーマンスを実現します。さらに、ShapeNetパーツでの3Dセマンティックセグメンテーションで競争力のあるパフォーマンスを実現します。さらなる分析は、VointNetが他の方法と比較して回転とオクルージョンに対するロバスト性を改善することを示しています。
Multi-view projection methods have demonstrated promising performance on 3D understanding tasks like 3D classification and segmentation. However, it remains unclear how to combine such multi-view methods with the widely available 3D point clouds. Previous methods use unlearned heuristics to combine features at the point level. To this end, we introduce the concept of the multi-view point cloud (Voint cloud), representing each 3D point as a set of features extracted from several view-points. This novel 3D Voint cloud representation combines the compactness of 3D point cloud representation with the natural view-awareness of multi-view representation. Naturally, we can equip this new representation with convolutional and pooling operations. We deploy a Voint neural network (VointNet) with a theoretically established functional form to learn representations in the Voint space. Our novel representation achieves state-of-the-art performance on 3D classification and retrieval on ScanObjectNN, ModelNet40, and ShapeNet Core55. Additionally, we achieve competitive performance for 3D semantic segmentation on ShapeNet Parts. Further analysis shows that VointNet improves the robustness to rotation and occlusion compared to other methods.