3Dスキャン技術のかなりの発展に続いて、2D畳み込みニューラルネットワーク(CNN)を利用するいくつかの方法を含む、3Dビジョンタスクのためのさまざまなアプローチで多くの研究が最近提案されました。ただし、2D CNNは多くの2Dビジョンタスクで高いパフォーマンスを達成していますが、既存の作業では3Dビジョンタスクに効果的に適用されていません。特に、各ポイントの密な予測が困難であり、豊富な特徴表現が必要なため、セグメンテーションは十分に研究されていません。この論文では、3Dポイントクラウドセグメンテーションに2D CNNを活用する、ポイントプロジェクションおよびバックプロジェクションネットワーク(PBP-Net)という名前のシンプルで効率的なアーキテクチャを提案します。 3つのモジュールが導入され、それぞれが3Dポイントクラウドを2D平面に投影し、2D CNNバックボーンを使用して特徴を抽出し、元の3Dポイントクラウドに特徴を逆投影します。 2D CNNを使用した効果的な3D特徴抽出を実証するために、最近の方法との比較を含むさまざまな実験を実行します。アブレーション研究を通じて提案されたモジュールを分析し、オブジェクトパーツセグメンテーション(ShapeNet-Partデータセット)と屋内シーンセマンティックセグメンテーション(S3DISデータセット)で実験を実行します。実験結果は、提案されたPBP-Netが既存の最先端の方法と同等の性能を達成することを示しています。
Following considerable development in 3D scanning technologies, many studies have recently been proposed with various approaches for 3D vision tasks, including some methods that utilize 2D convolutional neural networks (CNNs). However, even though 2D CNNs have achieved high performance in many 2D vision tasks, existing works have not effectively applied them onto 3D vision tasks. In particular, segmentation has not been well studied because of the difficulty of dense prediction for each point, which requires rich feature representation. In this paper, we propose a simple and efficient architecture named point projection and back-projection network (PBP-Net), which leverages 2D CNNs for the 3D point cloud segmentation. 3 modules are introduced, each of which projects 3D point cloud onto 2D planes, extracts features using a 2D CNN backbone, and back-projects features onto the original 3D point cloud. To demonstrate effective 3D feature extraction using 2D CNN, we perform various experiments including comparison to recent methods. We analyze the proposed modules through ablation studies and perform experiments on object part segmentation (ShapeNet-Part dataset) and indoor scene semantic segmentation (S3DIS dataset). The experimental results show that proposed PBP-Net achieves comparable performance to existing state-of-the-art methods.