スパースオブジェクトの提案に基づくオブジェクト検出器は、2Dドメインで成功することが最近証明されました。これにより、時間のかかる後処理なしで完全なエンドツーエンドの検出器を確立できます。この開発は、3Dオブジェクト検出器にとっても魅力的です。ただし、3Dドメインの検索スペースが非常に大きいことを考えると、3Dオブジェクト検出設定でスパース法を採用することが可能かどうかは未解決の問題です。本論文では、3Dオブジェクト検出のための最初のスパース法であるSparsePointを提案します。私たちのSparsePointは、3Dオブジェクトの最も可能性の高い位置をエンコードするための学習可能な提案と、すべてのオブジェクトの共有セマンティック機能をエンコードするためのフォアグラウンド埋め込みを採用しています。さらに、冗長な提案を削除するためのオブジェクトレベルの相互作用を提供するアテンションモジュールと、1対1のラベル割り当てを提供するハンガリーのアルゴリズムにより、私たちの方法はまばらで正確な予測を生成できます。 SparsePointは、ScanNetV2、SUN RGB-D、S3DIS、およびMatterport3Dを含む4つのパブリックデータセットに新しい最先端技術を設定します。私たちのコードはまもなく公開されます。
Object detectors based on sparse object proposals have recently been proven to be successful in the 2D domain, which makes it possible to establish a fully end-to-end detector without time-consuming post-processing. This development is also attractive for 3D object detectors. However, considering the remarkably larger search space in the 3D domain, whether it is feasible to adopt the sparse method in the 3D object detection setting is still an open question. In this paper, we propose SparsePoint, the first sparse method for 3D object detection. Our SparsePoint adopts a number of learnable proposals to encode most likely potential positions of 3D objects and a foreground embedding to encode shared semantic features of all objects. Besides, with the attention module to provide object-level interaction for redundant proposal removal and Hungarian algorithm to supply one-one label assignment, our method can produce sparse and accurate predictions. SparsePoint sets a new state-of-the-art on four public datasets, including ScanNetV2, SUN RGB-D, S3DIS, and Matterport3D. Our code will be publicly available soon.