現在の 3D インスタンス セグメンテーション モデルでは、通常、クラスタリング、特徴抽出、後処理プロセスなど、複数段階の方法を使用してインスタンス オブジェクトを抽出します。ただし、これらの多段階アプローチは、モデルの推論速度を制限するハイパーパラメーター設定と手作りのプロセスに依存しています。この論文では、OSIS と名付けられた新しい 3D 点群インスタンス セグメンテーション ネットワークを提案します。 OSIS は 1 段階のネットワークであり、ニューラル ネットワークを使用して 3D ポイント クラウド データからインスタンスを直接セグメント化します。インスタンスをネットワークから直接セグメント化するために、ネットワークからインスタンスの特徴をインスタンス セグメントにデコードするインスタンス デコーダーを提案します。私たちが提案する OSIS は、2 部マッチングによるエンドツーエンドのトレーニングを実現するため、ネットワークは、非最大抑制 (NMS) や推論中のクラスタリングなど、計算コストの高い後処理ステップを必要としません。結果は、一般的に使用されている屋内シーン インスタンス セグメンテーション データセットでネットワークが最終的に優れたパフォーマンスを達成し、ネットワークの推論速度がシーンあたり平均 138 ミリ秒にすぎず、以前の最速の方法を大幅に上回っていることを示しています。
Current 3D instance segmentation models generally use multi-stage methods to extract instance objects, including clustering, feature extraction, and post-processing processes. However, these multi-stage approaches rely on hyperparameter settings and hand-crafted processes, which restrict the inference speed of the model. In this paper, we propose a new 3D point cloud instance segmentation network, named OSIS. OSIS is a one-stage network, which directly segments instances from 3D point cloud data using neural network. To segment instances directly from the network, we propose an instance decoder, which decodes instance features from the network into instance segments. Our proposed OSIS realizes the end-to-end training by bipartite matching, therefore, our network does not require computationally expensive post-processing steps such as non maximum suppression (NMS) and clustering during inference. The results show that our network finally achieves excellent performance in the commonly used indoor scene instance segmentation dataset, and the inference speed of our network is only an average of 138ms per scene, which substantially exceeds the previous fastest method.