点群のインスタンス セグメンテーションは、シーン内のオブジェクトの位置特定とセグメント化を伴う多数のアプリケーションを使用する 3D 分野では重要なタスクです。ただし、満足のいく結果を得るには、多数の手動注釈が必要であり、時間と費用がかかるプロセスです。注釈への依存を軽減するために、点群上で未開発の教師なしクラスに依存しないインスタンス セグメンテーションのための FreePoint と呼ばれるメソッドを提案します。詳細には、座標、色、法線、自己教師付き深部特徴を組み合わせて点特徴を表現します。ポイント フィーチャに基づいて、マルチカット アルゴリズムを実行して、点群を擬似ラベルとして粗いインスタンス マスクにセグメント化します。これは、点群インスタンス セグメンテーション モデルをトレーニングするために使用されます。トレーニング中の粗いマスクの不正確さを軽減するために、弱く教師されたトレーニング戦略とそれに対応する損失を提案します。私たちの研究は、限定されたアノテーションを使用した教師ありセマンティック インスタンス セグメンテーションのための教師なし事前トレーニングの口実としても機能します。点群上のクラスに依存しないインスタンス セグメンテーションの場合、FreePoint は、最先端のインスタンス セグメンテーション モデル Mask3D に基づく完全に監視された対応物とのギャップを大幅に埋め、以前の完全に監視されたメソッドの一部をも上回っています。口実タスクとして機能し、S3DIS で微調整する場合、FreePoint は、わずか 10% のマスク アノテーションで、ゼロからのトレーニングよりも 5.8% AP 優れたパフォーマンスを発揮します。
Instance segmentation of point clouds is a crucial task in 3D field with numerous applications that involve localizing and segmenting objects in a scene. However, achieving satisfactory results requires a large number of manual annotations, which is a time-consuming and expensive process. To alleviate dependency on annotations, we propose a method, called FreePoint, for underexplored unsupervised class-agnostic instance segmentation on point clouds. In detail, we represent the point features by combining coordinates, colors, normals, and self-supervised deep features. Based on the point features, we perform a multicut algorithm to segment point clouds into coarse instance masks as pseudo labels, which are used to train a point cloud instance segmentation model. To alleviate the inaccuracy of coarse masks during training, we propose a weakly-supervised training strategy and corresponding loss. Our work can also serve as an unsupervised pre-training pretext for supervised semantic instance segmentation with limited annotations. For class-agnostic instance segmentation on point clouds, FreePoint largely fills the gap with its fully-supervised counterpart based on the state-of-the-art instance segmentation model Mask3D and even surpasses some previous fully-supervised methods. When serving as a pretext task and fine-tuning on S3DIS, FreePoint outperforms training from scratch by 5.8% AP with only 10% mask annotations.