点群の理解において、自己教師あり学習が大きな注目を集めています。ただし、差別的で転送可能な機能の探索は、不規則性とまばらさの性質のために依然として困難なままです。 PointGame と呼ばれる、点群の自己教師あり学習のための幾何学的および適応的にマスクされた自動エンコーダーを提案します。 PointGame には、GATE と EAT という 2 つのコア コンポーネントが含まれています。 GATE は、幾何学的および適応型のトークン埋め込みモジュールを表します。表面形状を効果的にキャプチャする幾何学的記述子の従来の知恵を吸収するだけでなく、点群の顕著な部分に焦点を当てるために適応的な顕著性を活用します。 EAT は、線形計算の複雑さを備えた外部アテンションベースの Transformer エンコーダーを表し、パイプライン全体の効率を高めます。最先端の教師なし学習モデルとは異なり、PointGame は幾何学的記述子を活用して表面形状を認識し、トレーニング データから識別機能を適応的にマイニングします。 PointGame は、グローバルおよびローカルの両方の微調整戦略の下で、さまざまなダウンストリーム タスクで競合他社に対する明確な利点を示しています。コードと事前トレーニング済みのモデルは公開されます。
Self-supervised learning is attracting large attention in point cloud understanding. However, exploring discriminative and transferable features still remains challenging due to their nature of irregularity and sparsity. We propose a geometrically and adaptively masked auto-encoder for self-supervised learning on point clouds, termed PointGame. PointGame contains two core components: GATE and EAT. GATE stands for the geometrical and adaptive token embedding module; it not only absorbs the conventional wisdom of geometric descriptors that captures the surface shape effectively, but also exploits adaptive saliency to focus on the salient part of a point cloud. EAT stands for the external attention-based Transformer encoder with linear computational complexity, which increases the efficiency of the whole pipeline. Unlike cutting-edge unsupervised learning models, PointGame leverages geometric descriptors to perceive surface shapes and adaptively mines discriminative features from training data. PointGame showcases clear advantages over its competitors on various downstream tasks under both global and local fine-tuning strategies. The code and pre-trained models will be publicly available.