arXiv reaDer
点群を理解するための統一されたクエリベースのパラダイム
A Unified Query-based Paradigm for Point Cloud Understanding
3D点群の理解は、自動運転とロボット工学の重要な要素です。この論文では、検出、セグメンテーション、分類などの3D理解タスクのための新しい埋め込みクエリパラダイム(EQ-パラダイム)を紹介します。 EQ-Paradigmは、既存の3Dバックボーンアーキテクチャとさまざまなタスクヘッドの組み合わせを可能にする統一されたパラダイムです。 EQパラダイムでは、入力は最初に、タスクやヘッドに依存しない任意の特徴抽出アーキテクチャを使用して、埋め込み段階でエンコードされます。次に、クエリステージにより、エンコードされた機能をさまざまなタスクヘッドに適用できるようになります。これは、埋め込みステージとタスクヘッドの間のブリッジとして機能する中間表現、つまりQ表現をクエリステージに導入することによって実現されます。クエリステージネットワークとして、新しいQ-Netを設計します。オブジェクト検出、セマンティックセグメンテーション、形状分類など、さまざまな3Dタスクに関する広範な実験結果は、Q-Netと連携したEQ-Paradigmが一般的で効果的なパイプラインであることを示しています。これにより、バックボーンとヘッドの柔軟なコラボレーションが可能になり、最先端の方法のパフォーマンス。コードとモデルはhttps://github.com/dvlab-research/DeepVision3Dで入手できます。
3D point cloud understanding is an important component in autonomous driving and robotics. In this paper, we present a novel Embedding-Querying paradigm (EQ- Paradigm) for 3D understanding tasks including detection, segmentation, and classification. EQ-Paradigm is a unified paradigm that enables the combination of any existing 3D backbone architectures with different task heads. Under the EQ-Paradigm, the input is firstly encoded in the embedding stage with an arbitrary feature extraction architecture, which is independent of tasks and heads. Then, the querying stage enables the encoded features to be applicable for diverse task heads. This is achieved by introducing an intermediate representation, i.e., Q-representation, in the querying stage to serve as a bridge between the embedding stage and task heads. We design a novel Q- Net as the querying stage network. Extensive experimental results on various 3D tasks, including object detection, semantic segmentation and shape classification, show that EQ-Paradigm in tandem with Q-Net is a general and effective pipeline, which enables a flexible collaboration of backbones and heads, and further boosts the performance of the state-of-the-art methods. Codes and models are available at https://github.com/dvlab-research/DeepVision3D.
updated: Mon May 09 2022 06:55:32 GMT+0000 (UTC)
published: Wed Mar 02 2022 17:17:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト