arXiv reaDer
Hierarchical Aggregation for 3D Instance Segmentation
点群でのインスタンスのセグメンテーションは、3Dシーン認識の基本的なタスクです。この作業では、ポイントとポイントセットの空間的関係を最大限に活用するHAISという名前の簡潔なクラスタリングベースのフレームワークを提案します。クラスタリングベースの方法では、オーバーセグメンテーションまたはアンダーセグメンテーションが発生する可能性があることを考慮して、階層型集計を導入して、インスタンスの提案を段階的に生成します。つまり、ポイントをセットに事前にクラスタリングするためのポイント集計と、セットから完全なインスタンスを生成するためのセット集計を導入します。完全な3Dインスタンスが取得されると、インスタンス内予測のサブネットワークが、ノイズの多いポイントのフィルタリングとマスク品質のスコアリングに採用されます。 HAISは高速で(フレームあたりわずか410ms)、最大以外の抑制を必要としません。 ScanNet v2ベンチマークで1位にランクされ、最高の69.9%AP50を達成し、以前の最先端(SOTA)メソッドを大幅に上回っています。さらに、S3DISデータセットのSOTA結果は、優れた一般化能力を検証します。コードはで入手できます。
Instance segmentation on point clouds is a fundamental task in 3D scene perception. In this work, we propose a concise clustering-based framework named HAIS, which makes full use of spatial relation of points and point sets. Considering clustering-based methods may result in over-segmentation or under-segmentation, we introduce the hierarchical aggregation to progressively generate instance proposals, i.e., point aggregation for preliminarily clustering points to sets and set aggregation for generating complete instances from sets. Once the complete 3D instances are obtained, a sub-network of intra-instance prediction is adopted for noisy points filtering and mask quality scoring. HAIS is fast (only 410ms per frame) and does not require non-maximum suppression. It ranks 1st on the ScanNet v2 benchmark, achieving the highest 69.9% AP50 and surpassing previous state-of-the-art (SOTA) methods by a large margin. Besides, the SOTA results on the S3DIS dataset validate the good generalization ability. Code will be available at
updated: Thu Aug 05 2021 03:34:34 GMT+0000 (UTC)
published: Thu Aug 05 2021 03:34:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト