点群の簡単な事前トレーニングアプローチについて説明します。これは3つのステップで機能します。1。カメラビューで遮られたすべてのポイントをマスクします。 2.オクルージョンポイントを再構築するためのエンコーダーデコーダーモデルを学習します。 3.ダウンストリームポイントクラウドタスクの初期化としてエンコーダの重みを使用します。 (ModelNet40から)単一の事前トレーニングデータセットを構築する場合でも、この事前トレーニング方法により、さまざまなダウンストリームタスクでさまざまなデータセットとエンコーダーの精度が向上することがわかります。具体的には、オブジェクト分類、およびパーツベースのセグメンテーションタスクとセマンティックセグメンテーションタスクの両方で、このメソッドが以前の事前トレーニングメソッドよりも優れていることを示します。事前にトレーニングされた機能を調査し、それらが広い下流の最小値につながり、変換の不変性が高く、パーツラベルと高度に相関するアクティベーションがあることを発見しました。コードとデータはhttps://github.com/hansen7/OcCoで入手できます。
We describe a simple pre-training approach for point clouds. It works in three steps: 1. Mask all points occluded in a camera view; 2. Learn an encoder-decoder model to reconstruct the occluded points; 3. Use the encoder weights as initialisation for downstream point cloud tasks. We find that even when we construct a single pre-training dataset (from ModelNet40), this pre-training method improves accuracy across different datasets and encoders, on a wide range of downstream tasks. Specifically, we show that our method outperforms previous pre-training methods in object classification, and both part-based and semantic segmentation tasks. We study the pre-trained features and find that they lead to wide downstream minima, have high transformation invariance, and have activations that are highly correlated with part labels. Code and data are available at: https://github.com/hansen7/OcCo