arXiv reaDer
ConDor:部分形状の3Dポーズの自己監視型正規化
ConDor: Self-Supervised Canonicalization of 3D Pose for Partial Shapes
3Dオブジェクトの理解の進歩は、一貫した位置と方向(3Dポーズ)を持つインスタンスを含む手動で正規化された形状データセットに依存しています。これにより、これらの方法を、インターネットモデルコレクションや深度センサーなどの実際の形状に一般化することが困難になっています。 ConDorは、完全および部分的な3Dポイントクラウドの3D方向と位置を正規化することを学習する自己監視方式です。テンソルフィールドネットワーク(TFN)、順列および回転の同変、および並進不変の3Dネットワークのクラスの上に構築されます。推論中に、私たちの方法は、任意のポーズで目に見えない完全または部分的な3D点群を取得し、同変の正規ポーズを出力します。トレーニング中、このネットワークは自己監視損失を使用して、完全および部分的な3Dポイントクラウドの非正規化されたコレクションから正規のポーズを学習します。 ConDorは、監視なしでオブジェクトパーツを一貫してコセグメント化することも学習できます。 4つの新しいメトリックに関する広範な定量的結果は、深度画像の操作や注釈の転送などの新しいアプリケーションを可能にしながら、私たちのアプローチが既存の方法よりも優れていることを示しています。
Progress in 3D object understanding has relied on manually canonicalized shape datasets that contain instances with consistent position and orientation (3D pose). This has made it hard to generalize these methods to in-the-wild shapes, eg., from internet model collections or depth sensors. ConDor is a self-supervised method that learns to Canonicalize the 3D orientation and position for full and partial 3D point clouds. We build on top of Tensor Field Networks (TFNs), a class of permutation- and rotation-equivariant, and translation-invariant 3D networks. During inference, our method takes an unseen full or partial 3D point cloud at an arbitrary pose and outputs an equivariant canonical pose. During training, this network uses self-supervision losses to learn the canonical pose from an un-canonicalized collection of full and partial 3D point clouds. ConDor can also learn to consistently co-segment object parts without any supervision. Extensive quantitative results on four new metrics show that our approach outperforms existing methods while enabling new applications such as operation on depth images and annotation transfer.
updated: Wed Jan 19 2022 18:57:21 GMT+0000 (UTC)
published: Wed Jan 19 2022 18:57:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト