密な3Dボクセルグリッドのインスタンスラベルセグメンテーションの新しい方法を提案します。深度センサーまたはマルチビューステレオメソッドで取得され、セマンティック3D再構築またはシーン完了メソッドで処理されたボリュームシーン表現を対象とします。主なタスクは、接続されたオブジェクトや不完全にスキャンされたオブジェクトなど、個々のオブジェクトインスタンスの形状情報を正確に分離するために、それらの形状情報を学習することです。マルチタスク学習戦略を使用して、3Dインスタンスのラベル付けの問題を解決します。最初の目標は、同じインスタンスラベルが互いに近いボクセルをグループ化すると同時に、異なるインスタンスラベルが異なるクラスターを分離する抽象的な機能の埋め込みを学習することです。 2番目の目標は、各ボクセルのインスタンスの重心の方向情報を密に推定することにより、インスタンス情報を学習することです。これは、クラスタリング後処理ステップでインスタンス境界を見つけるのに、また最初の目標のセグメンテーション品質をスコアリングするのに特に役立ちます。合成実験と実世界実験の両方が、このアプローチの実行可能性とメリットを示しています。実際、ScanNet 3Dインスタンスセグメンテーションベンチマークで最先端のパフォーマンスを実現しています。
We propose a novel method for instance label segmentation of dense 3D voxel grids. We target volumetric scene representations, which have been acquired with depth sensors or multi-view stereo methods and which have been processed with semantic 3D reconstruction or scene completion methods. The main task is to learn shape information about individual object instances in order to accurately separate them, including connected and incompletely scanned objects. We solve the 3D instance-labeling problem with a multi-task learning strategy. The first goal is to learn an abstract feature embedding, which groups voxels with the same instance label close to each other while separating clusters with different instance labels from each other. The second goal is to learn instance information by densely estimating directional information of the instance's center of mass for each voxel. This is particularly useful to find instance boundaries in the clustering post-processing step, as well as, for scoring the segmentation quality for the first goal. Both synthetic and real-world experiments demonstrate the viability and merits of our approach. In fact, it achieves state-of-the-art performance on the ScanNet 3D instance segmentation benchmark.