点群ベースのディープ ネットワーク アーキテクチャ用の新しいビルディング ブロックである PointConvFormer を紹介します。一般化理論に触発された PointConvFormer は、フィルターの重みが相対位置のみに基づくポイント畳み込みと、特徴ベースの注意を利用する Transformer からのアイデアを組み合わせています。 PointConvFormer では、近傍内のポイント間の特徴差から計算されたアテンションを使用して、各ポイントの畳み込み重みが変更されます。したがって、点の畳み込みによる不変性を保存しましたが、注意は畳み込みのために近傍内の関連する点を選択するのに役立ちます。 PointConvFormer は、セグメンテーションやシーン フロー推定タスクなど、ポイント レベルでの詳細を必要とする複数のタスクに適しています。 ScanNet、SemanticKitti、FlyingThings3D、KITTI を含む複数のデータセットを使用して両方のタスクを実験します。私たちの結果は、PointConvFormer が従来の畳み込み、通常の変換、ボクセル化されたスパース畳み込みアプローチよりも優れた精度と速度のトレードオフを提供することを示しています。視覚化すると、PointConvFormer は平らな領域では畳み込みと同様に実行されるのに対し、オブジェクトの境界では近傍選択効果がより強くなり、両方の長所を生かしていることがわかります。
We introduce PointConvFormer, a novel building block for point cloud based deep network architectures. Inspired by generalization theory, PointConvFormer combines ideas from point convolution, where filter weights are only based on relative position, and Transformers which utilize feature-based attention. In PointConvFormer, attention computed from feature difference between points in the neighborhood is used to modify the convolutional weights at each point. Hence, we preserved the invariances from point convolution, whereas attention helps to select relevant points in the neighborhood for convolution. PointConvFormer is suitable for multiple tasks that require details at the point level, such as segmentation and scene flow estimation tasks. We experiment on both tasks with multiple datasets including ScanNet, SemanticKitti, FlyingThings3D and KITTI. Our results show that PointConvFormer offers a better accuracy-speed tradeoff than classic convolutions, regular transformers, and voxelized sparse convolution approaches. Visualizations show that PointConvFormer performs similarly to convolution on flat areas, whereas the neighborhood selection effect is stronger on object boundaries, showing that it has got the best of both worlds.