マスクされたオートエンコーダーは、自己教師あり点群学習でその有効性を実証しています。マスキングは一種の破損であることを考慮して、この作業では、マスキングを超えたより多くのタイプの破損を調査することにより、点群学習 (Point-DAE) のためのより一般的なノイズ除去オートエンコーダーを調査します。具体的には、特定の破損を入力として点群を劣化させ、エンコーダー/デコーダー モデルを学習して、破損したバージョンから元の点群を再構築します。 3 つの破損ファミリ (つまり、密度/マスキング、ノイズ、およびアフィン変換) と合計 14 の破損タイプが調査されます。興味深いことに、アフィン変換ベースの Point-DAE は一般に他のものよりも優れており (たとえば、一般的なマスキング破損)、自己教師付き点群学習の有望な方向性を示唆しています。さらに重要なことは、タスクの関連性とダウンストリーム タスクのモデル パフォーマンスの間に統計的に有意な線形関係があることです。この発見は、そのような Point-DAE バリアントが下流の分類タスクに密接に関連していることを考えると、アフィン変換ベースの Point-DAE の利点を部分的にわかりやすく説明します。さらに、ほとんどの Point-DAE バリアントが、トレーニング前のデータセットで手動で注釈を付けた正規のポーズから意図せず恩恵を受けることを明らかにしました。このような問題に取り組むために、オブジェクトの姿勢を自動的に推定することにより、新しいデータセット設定を推進しています。コードは https://github.com/YBZh/Point-DAE で入手できます。
Masked autoencoder has demonstrated its effectiveness in self-supervised point cloud learning. Considering that masking is a kind of corruption, in this work we explore a more general denoising autoencoder for point cloud learning (Point-DAE) by investigating more types of corruptions beyond masking. Specifically, we degrade the point cloud with certain corruptions as input, and learn an encoder-decoder model to reconstruct the original point cloud from its corrupted version. Three corruption families (i.e., density/masking, noise, and affine transformation) and a total of fourteen corruption types are investigated. Interestingly, the affine transformation-based Point-DAE generally outperforms others (e.g., the popular masking corruptions), suggesting a promising direction for self-supervised point cloud learning. More importantly, we find a statistically significant linear relationship between task relatedness and model performance on downstream tasks. This finding partly demystifies the advantage of affine transformation-based Point-DAE, given that such Point-DAE variants are closely related to the downstream classification task. Additionally, we reveal that most Point-DAE variants unintentionally benefit from the manually-annotated canonical poses in the pre-training dataset. To tackle such an issue, we promote a new dataset setting by estimating object poses automatically. The codes will be available at https://github.com/YBZh/Point-DAE.