arXiv reaDer
Point-MA2E: 自己教師あり点群学習のためのマスクおよびアフィン変換 AutoEncoder
Point-MA2E: Masked and Affine Transformed AutoEncoder for Self-supervised Point Cloud Learning
マスクされたモデリングは、マスクされた対応する点群から完全な点群を再構築することにより、自己教師付き点群学習におけるその有効性を実証しています。マスキングは入力の部分的なポイントのみを破損することを考慮して、このペーパーでは、特定のルールですべての入力ポイントを破損するアフィン変換を促進して、一般的なマスキング戦略を補完し、点群学習用のマスクおよびアフィン変換 AutoEncoder につながります (ポイント-MA2E)。一般に、入力としてアフィン変換とマスキングを使用して点群を破損し、エンコーダー/デコーダー モデルを学習して、破損したバージョンから元の点群を再構築します。この研究では、さまざまな点群エンコーダーが調査されています。非 Transformer エンコーダーの場合、破損していないポイント クラウドを直接再構築する一般的な方法に従います。 Transformer ベースのエンコーダーの場合、完全な点群の再構成を詳細なローカル パッチと大まかなグローバル形状の再構成に分解し、事前トレーニングの効率を高めます。提案されたコンポーネントの詳細な分析を実行し、オブジェクト分類、少数ショット学習、堅牢性テスト、パーツ セグメンテーション、および 3D オブジェクト検出に関する広範な実験により、Point-MA2E の有効性を検証します。ソースコードは公開されます。
Masked modeling has demonstrated its effectiveness in self-supervised point cloud learning by reconstructing the complete point cloud from its masked counterpart. Considering that masking only corrupts partial points of the input, in this paper, we promote the affine transformation, which corrupts all input points with certain rules, to complement the popular masking strategy, leading to the Masked and Affine transformed AutoEncoder for point cloud learning (Point-MA2E). Generally, we corrupt the point cloud with affine transformation and masking as input and learn an encoder-decoder model to reconstruct the original point cloud from its corrupted version. Various point cloud encoders are explored in this study. For non-Transformer encoders, we follow the common practice to reconstruct the uncorrupted point cloud directly. For Transformer-based encoders, we decompose the reconstruction of the complete point cloud into the reconstructions of detailed local patches and rough global shape, facilitating the pre-training efficiency. We perform in-depth analyses of the proposed components and validate the effectiveness of Point-MA2E with extensive experiments on object classification, few-shot learning, robustness testing, part segmentation, and 3D object detection. The source code will be made publicly available.
updated: Sat Mar 18 2023 02:41:36 GMT+0000 (UTC)
published: Sun Nov 13 2022 08:02:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト