CpT:Convolutional pointTransformerを紹介します-3Dポイントクラウドデータの非構造化された性質を処理するための新しい深層学習アーキテクチャ。 CpTは、既存のアテンションベースの畳み込みニューラルネットワークおよび以前の3Dポイントクラウド処理トランスフォーマーを改良したものです。これは、動的にローカルのポイントセット周辺を処理するために作成された畳み込み射影層を介して埋め込まれた、斬新で堅牢なアテンションベースのポイントセットを作成する効果により、この偉業を達成します。結果として得られるポイントセットの埋め込みは、入力ポイントの順列に対してロバストです。私たちの新しいCpTブロックは、ネットワーク構造の各レイヤーで動的グラフ計算を介して取得されたポイントのローカル近傍上に構築されます。これは完全に微分可能であり、畳み込み層のように積み重ねて、点のグローバルプロパティを学習できます。 ModelNet40、ShapeNetパーツセグメンテーション、S3DIS 3D屋内シーンセマンティックセグメンテーションデータセットなどの標準ベンチマークデータセットでモデルを評価し、既存の状態と比較した場合に、モデルがさまざまな点群処理タスクの効果的なバックボーンとして機能できることを示します。 -最先端のアプローチ。
We present CpT: Convolutional point Transformer - a novel deep learning architecture for dealing with the unstructured nature of 3D point cloud data. CpT is an improvement over existing attention-based Convolutions Neural Networks as well as previous 3D point cloud processing transformers. It achieves this feat due to its effectiveness in creating a novel and robust attention-based point set embedding through a convolutional projection layer crafted for processing dynamically local point set neighbourhoods. The resultant point set embedding is robust to the permutations of the input points. Our novel CpT block builds over local neighbourhoods of points obtained via a dynamic graph computation at each layer of the networks' structure. It is fully differentiable and can be stacked just like convolutional layers to learn global properties of the points. We evaluate our model on standard benchmark datasets such as ModelNet40, ShapeNet Part Segmentation, and the S3DIS 3D indoor scene semantic segmentation dataset to show that our model can serve as an effective backbone for various point cloud processing tasks when compared to the existing state-of-the-art approaches.