3D点群の教師なしカプセルアーキテクチャを提案します。順列と同等の注意を介してオブジェクトのカプセル分解を計算し、ランダムに回転したオブジェクトのペアを使用してトレーニングすることにより、プロセスを自己監視します。私たちの重要なアイデアは、アテンションマスクをセマンティックキーポイントに集約し、これらを使用して、カプセルの不変性/同変特性を満たす分解を監視することです。これにより、意味的に一貫した分解のトレーニングが可能になるだけでなく、オブジェクト中心の推論を可能にする正規化操作を学習することもできます。その際、トレーニングに分類ラベルや手動で調整されたトレーニングデータセットは必要ありません。それでも、教師なしの方法でオブジェクト中心の表現を学習することにより、私たちの方法は、3D点群の再構築、登録、および教師なし分類の最先端を上回ります。論文が公開され次第、結果を再現するためのコードとデータセットをリリースします。
We propose an unsupervised capsule architecture for 3D point clouds. We compute capsule decompositions of objects through permutation-equivariant attention, and self-supervise the process by training with pairs of randomly rotated objects. Our key idea is to aggregate the attention masks into semantic keypoints, and use these to supervise a decomposition that satisfies the capsule invariance/equivariance properties. This not only enables the training of a semantically consistent decomposition, but also allows us to learn a canonicalization operation that enables object-centric reasoning. In doing so, we require neither classification labels nor manually-aligned training datasets to train. Yet, by learning an object-centric representation in an unsupervised manner, our method outperforms the state-of-the-art on 3D point cloud reconstruction, registration, and unsupervised classification. We will release the code and dataset to reproduce our results as soon as the paper is published.