arXiv reaDer
半教師ありバウンディングボックスマイニングによる点群インスタンスのセグメンテーション
Point Cloud Instance Segmentation with Semi-supervised Bounding-Box Mining
点群インスタンスのセグメンテーションは、ディープラーニングの出現により大きな進歩を遂げました。ただし、これらの方法は通常、データを大量に消費し、費用と時間がかかる高密度の点群アノテーションがあります。注釈のコストを軽減するために、ラベルなしまたは弱くラベル付けされたデータは、タスクでまだあまり調査されていません。このホワイトペーパーでは、ラベル付きとラベルなしの両方のバウンディングボックスを監視として使用する、最初の半教師ありポイントクラウドインスタンスセグメンテーションフレームワーク(SPIB)を紹介します。具体的には、SPIBアーキテクチャには2段階の学習手順が含まれます。ステージ1の場合、バウンディングボックス提案生成ネットワークは、摂動整合性正則化(SPCR)を使用した半教師あり設定でトレーニングされます。正則化は、入力ポイントクラウドに適用されるさまざまな摂動に対してバウンディングボックス予測の不変性を適用することで機能し、ネットワーク学習の自己監視を提供します。ステージ2では、SPCRを使用したバウンディングボックスの提案がいくつかのサブセットにグループ化され、インスタンスマスクが、新しいセマンティック伝播モジュールとプロパティ整合性グラフモジュールを使用して各サブセット内でマイニングされます。さらに、インスタンスマスクを改良するために、新しい占有率ガイド付き改良モジュールを導入します。挑戦的なScanNetv2データセットでの広範な実験は、私たちの方法が最近の完全に監視された方法と比較して競争力のあるパフォーマンスを達成できることを示しています。
Point cloud instance segmentation has achieved huge progress with the emergence of deep learning. However, these methods are usually data-hungry with expensive and time-consuming dense point cloud annotations. To alleviate the annotation cost, unlabeled or weakly labeled data is still less explored in the task. In this paper, we introduce the first semi-supervised point cloud instance segmentation framework (SPIB) using both labeled and unlabelled bounding boxes as supervision. To be specific, our SPIB architecture involves a two-stage learning procedure. For stage one, a bounding box proposal generation network is trained under a semi-supervised setting with perturbation consistency regularization (SPCR). The regularization works by enforcing an invariance of the bounding box predictions over different perturbations applied to the input point clouds, to provide self-supervision for network learning. For stage two, the bounding box proposals with SPCR are grouped into some subsets, and the instance masks are mined inside each subset with a novel semantic propagation module and a property consistency graph module. Moreover, we introduce a novel occupancy ratio guided refinement module to refine the instance masks. Extensive experiments on the challenging ScanNet v2 dataset demonstrate our method can achieve competitive performance compared with the recent fully-supervised methods.
updated: Tue Nov 30 2021 08:40:40 GMT+0000 (UTC)
published: Tue Nov 30 2021 08:40:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト