arXiv reaDer
PSGformer: 正確なセマンティック ガイダンスによる 3D 点群インスタンスのセグメンテーションの強化
PSGformer: Enhancing 3D Point Cloud Instance Segmentation via Precise Semantic Guidance
既存の 3D インスタンス セグメンテーション手法のほとんどは、3D セマンティック セグメンテーション モデルから派生しています。ただし、これらの間接的なアプローチには特定の制限があります。正確な予測のためにグローバルおよびローカルのセマンティック情報を完全に活用できず、3D インスタンス セグメンテーション フレームワークの全体的なパフォーマンスが妨げられます。これらの問題に対処するために、このペーパーでは、新しい 3D インスタンス セグメンテーション ネットワークである PSGformer を紹介します。 PSGformer には、3D インスタンス セグメンテーションのパフォーマンスを強化する 2 つの重要な進歩が組み込まれています。まず、前景ポイント フィルタリングとマルチ半径集約を採用することでシーンの特徴を効果的にキャプチャするマルチレベル セマンティック集約モジュールを提案します。このモジュールにより、グローバルおよびローカルの観点からより詳細なセマンティック情報を取得できます。第 2 に、PSGformer は、トランスフォーマーを使用してスーパー ポイント フィーチャと集約フィーチャを個別に処理する、並列フィーチャ フュージョン トランスフォーマ モジュールを導入します。このモデルは、グローバル フィーチャとローカル フィーチャを接続するフィーチャによって、より包括的なフィーチャ表現を実現します。私たちは、ScanNetv2 データセットに対して広範な実験を実施しました。特に、PSGformer は、mAP に関して、ScanNetv2 隠れテスト セットにおいて、比較された最先端の手法を 2.2% 上回っています。私たちのコードとモデルは公開されます。
Most existing 3D instance segmentation methods are derived from 3D semantic segmentation models. However, these indirect approaches suffer from certain limitations. They fail to fully leverage global and local semantic information for accurate prediction, which hampers the overall performance of the 3D instance segmentation framework. To address these issues, this paper presents PSGformer, a novel 3D instance segmentation network. PSGformer incorporates two key advancements to enhance the performance of 3D instance segmentation. Firstly, we propose a Multi-Level Semantic Aggregation Module, which effectively captures scene features by employing foreground point filtering and multi-radius aggregation. This module enables the acquisition of more detailed semantic information from global and local perspectives. Secondly, PSGformer introduces a Parallel Feature Fusion Transformer Module that independently processes super-point features and aggregated features using transformers. The model achieves a more comprehensive feature representation by the features which connect global and local features. We conducted extensive experiments on the ScanNetv2 dataset. Notably, PSGformer exceeds compared state-of-the-art methods by 2.2% on ScanNetv2 hidden test set in terms of mAP. Our code and models will be publicly released.
updated: Sat Jul 15 2023 04:45:37 GMT+0000 (UTC)
published: Sat Jul 15 2023 04:45:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト