Lidarセンサーと3Dビジョンカメラの急増に伴い、3D点群分析は近年大きな注目を集めています。先駆的な作業であるPointNetの成功後、ディープラーニングベースの方法が3Dポイントクラウドセグメンテーションや3Dオブジェクト分類などのさまざまなタスクにますます適用されるようになりました。本論文では、動的プーリングと注意メカニズムを用いて近隣特徴集約を選択的に実行することにより、動的点特徴集約ネットワーク(DPFA-Net)と呼ばれる新しい3D点群学習ネットワークを提案します。 DPFA-Netには、3Dポイントクラウドのセマンティックセグメンテーションと分類のための2つのバリアントがあります。 DPFA-Netのコアモジュールとして、各ポイントの動的近傍の特徴が自己注意メカニズムを介して集約される特徴集約レイヤーを提案します。固定された近隣からの特徴を集約する他のセグメンテーションモデルとは対照的に、私たちのアプローチは、クエリポイントに対してより選択的で広いビューを提供し、ローカル近隣の関連する特徴により焦点を当てて、異なるレイヤーの異なる近隣からの特徴を集約できます。さらに、提案されたセマンティックセグメンテーションモデルのパフォーマンスをさらに向上させるために、2つの新しいアプローチ、つまり、背景-前景情報を活用するための2段階BF-NetとBF-正則化を提示します。実験結果は、提案されたDPFA-NetがS3DISデータセットのセマンティックセグメンテーションの最先端の全体的な精度スコアを達成し、セグメンテーションセグメンテーション、パーツセグメンテーション、および3Dオブジェクト分類のさまざまなタスクにわたって一貫して満足のいくパフォーマンスを提供することを示しています。また、他の方法と比較して計算効率が高くなります。
With the proliferation of Lidar sensors and 3D vision cameras, 3D point cloud analysis has attracted significant attention in recent years. After the success of the pioneer work PointNet, deep learning-based methods have been increasingly applied to various tasks, including 3D point cloud segmentation and 3D object classification. In this paper, we propose a novel 3D point cloud learning network, referred to as Dynamic Point Feature Aggregation Network (DPFA-Net), by selectively performing the neighborhood feature aggregation with dynamic pooling and an attention mechanism. DPFA-Net has two variants for semantic segmentation and classification of 3D point clouds. As the core module of the DPFA-Net, we propose a Feature Aggregation layer, in which features of the dynamic neighborhood of each point are aggregated via a self-attention mechanism. In contrast to other segmentation models, which aggregate features from fixed neighborhoods, our approach can aggregate features from different neighbors in different layers providing a more selective and broader view to the query points, and focusing more on the relevant features in a local neighborhood. In addition, to further improve the performance of the proposed semantic segmentation model, we present two novel approaches, namely Two-Stage BF-Net and BF-Regularization to exploit the background-foreground information. Experimental results show that the proposed DPFA-Net achieves the state-of-the-art overall accuracy score for semantic segmentation on the S3DIS dataset, and provides a consistently satisfactory performance across different tasks of semantic segmentation, part segmentation, and 3D object classification. It is also computationally more efficient compared to other methods.