カテゴリレベルの6 Dオブジェクトのポーズとサイズの推定への新しいアプローチを提示します。クラス内の形状変動に取り組むために、特定のオブジェクトカテゴリのさまざまなインスタンスの統一表現である正規形状空間(CASS)を学習します。特に、CASSは、正規化されたポーズを持つ正規3D形状の深い生成モデルの潜在空間としてモデル化されます。 RGBD画像から正規空間に3D点群を生成するための変分オートエンコーダー(VAE)をトレーニングします。 VAEは、一般に入手可能な大規模な3D形状リポジトリーを活用して、クロスカテゴリー方式でトレーニングされます。 3Dポイントクラウドは正規化されたポーズで(実際のサイズで)生成されるため、VAEのエンコーダーはビュー因数分解RGBD埋め込みを学習します。任意のビューのRGBD画像を、姿勢に依存しない3D形状表現にマッピングします。次に、オブジェクトのポーズを、個別のディープニューラルネットワークで抽出された入力RGBDのポーズ依存機能と対比して推定します。 CASSの学習とポーズとサイズの推定をエンドツーエンドのトレーニング可能なネットワークに統合し、最先端のパフォーマンスを実現します。
We present a novel approach to category-level 6D object pose and size estimation. To tackle intra-class shape variations, we learn canonical shape space (CASS), a unified representation for a large variety of instances of a certain object category. In particular, CASS is modeled as the latent space of a deep generative model of canonical 3D shapes with normalized pose. We train a variational auto-encoder (VAE) for generating 3D point clouds in the canonical space from an RGBD image. The VAE is trained in a cross-category fashion, exploiting the publicly available large 3D shape repositories. Since the 3D point cloud is generated in normalized pose (with actual size), the encoder of the VAE learns view-factorized RGBD embedding. It maps an RGBD image in arbitrary view into a pose-independent 3D shape representation. Object pose is then estimated via contrasting it with a pose-dependent feature of the input RGBD extracted with a separate deep neural networks. We integrate the learning of CASS and pose and size estimation into an end-to-end trainable network, achieving the state-of-the-art performance.