3D点群処理の一般的な畳み込み演算であるPositionAdaptive Convolution(PAConv)を紹介します。 PAConvの鍵は、Weight Bankに格納されている基本的な重み行列を動的に組み立てることによって畳み込みカーネルを構築することです。これらの重み行列の係数は、ScoreNetを介してポイント位置から自己適応的に学習されます。このように、カーネルはデータ駆動型の方法で構築され、PAConvに2D畳み込みよりも柔軟性を与えて、不規則で順序付けられていない点群データをより適切に処理します。さらに、ポイント位置からカーネルを残酷に予測する代わりに、重み行列を組み合わせることにより、学習プロセスの複雑さが軽減されます。さらに、ネットワークアーキテクチャが高度に設計されていることが多い既存のポイント畳み込み演算子とは異なり、ネットワーク構成を変更することなく、PAConvを従来のMLPベースのポイントクラウドパイプラインに統合します。単純なネットワーク上に構築されたとしても、私たちの方法は最先端のモデルに近づき、さらにはそれを上回り、分類タスクとセグメンテーションタスクの両方でベースラインパフォーマンスを大幅に向上させますが、それでもかなりの効率があります。 PAConvを理解するために、徹底的なアブレーション研究と視覚化が提供されます。コードはhttps://github.com/CVMI-Lab/PAConvでリリースされています。
We introduce Position Adaptive Convolution (PAConv), a generic convolution operation for 3D point cloud processing. The key of PAConv is to construct the convolution kernel by dynamically assembling basic weight matrices stored in Weight Bank, where the coefficients of these weight matrices are self-adaptively learned from point positions through ScoreNet. In this way, the kernel is built in a data-driven manner, endowing PAConv with more flexibility than 2D convolutions to better handle the irregular and unordered point cloud data. Besides, the complexity of the learning process is reduced by combining weight matrices instead of brutally predicting kernels from point positions. Furthermore, different from the existing point convolution operators whose network architectures are often heavily engineered, we integrate our PAConv into classical MLP-based point cloud pipelines without changing network configurations. Even built on simple networks, our method still approaches or even surpasses the state-of-the-art models, and significantly improves baseline performance on both classification and segmentation tasks, yet with decent efficiency. Thorough ablation studies and visualizations are provided to understand PAConv. Code is released on https://github.com/CVMI-Lab/PAConv.