点群のセグメンテーションは、3Dビジョンにおける基本的な視覚的理解タスクです。完全に監視されたポイントクラウドセグメンテーションネットワークでは、ポイントごとの注釈付きの大量のデータが必要になることが多く、取得にコストがかかります。この作業では、いくつかのラベル付きトレーニングデータのみで点群セグメンテーションを実行できるCompositional PrototypeNetworkを紹介します。画像内の数ショットの学習文献に触発されて、私たちのネットワークは、予測のために、限られたトレーニングデータからラベルのないテストデータにラベル情報を直接転送します。ネットワークは、複雑な点群データの表現をローカルの地域表現のセットに分解し、それらを利用して視覚的概念の構成プロトタイプを計算します。私たちのネットワークには、サポートセットの冗長ビューを活用する主要なマルチビュー比較コンポーネントが含まれています。提案された方法を評価するために、ScanNetデータセットに基づいて構築された新しいセグメンテーションベンチマークデータセットScanNet-6 ^ iを作成します。広範な実験により、私たちの方法はベースラインを上回り、大きな利点があることが示されています。さらに、完全に監視された点群セグメンテーションデータセットでロングテール問題を処理するためにネットワークを使用すると、数ショットクラスのパフォーマンスを効果的に高めることもできます。
Point cloud segmentation is a fundamental visual understanding task in 3D vision. A fully supervised point cloud segmentation network often requires a large amount of data with point-wise annotations, which is expensive to obtain. In this work, we present the Compositional Prototype Network that can undertake point cloud segmentation with only a few labeled training data. Inspired by the few-shot learning literature in images, our network directly transfers label information from the limited training data to unlabeled test data for prediction. The network decomposes the representations of complex point cloud data into a set of local regional representations and utilizes them to calculate the compositional prototypes of a visual concept. Our network includes a key Multi-View Comparison Component that exploits the redundant views of the support set. To evaluate the proposed method, we create a new segmentation benchmark dataset, ScanNet-6^i, which is built upon ScanNet dataset. Extensive experiments show that our method outperforms baselines with a significant advantage. Moreover, when we use our network to handle the long-tail problem in a fully supervised point cloud segmentation dataset, it can also effectively boost the performance of the few-shot classes.