外部ポーズ注釈付きの実世界のトレーニングデータを使用せずに、単一の深度画像からカテゴリレベルの6Dオブジェクトポーズおよびサイズ推定(COPSE)の方法を提案します。以前の作品はRGB(D)画像の視覚的な手がかりを利用していますが、私たちの方法は、深度チャネルのみのオブジェクトの豊富な幾何学的情報に基づいて推論を行います。基本的に、私たちのフレームワークは、統合された3D Orientation-Consistent Representations(3D-OCR)モジュールを学習し、Geometry-constrained Reflection Symmetry(GeoReS)モジュールのプロパティによってさらに強化されることにより、このような幾何学的情報を探索します。オブジェクトのサイズと中心点のマグニチュード情報は、最終的にミラーペア次元推定(MPDE)モジュールによって推定されます。カテゴリレベルのNOCSベンチマークに関する広範な実験は、私たちのフレームワークが、ラベル付けされた実世界の画像を必要とする最先端のアプローチと競合することを示しています。また、物理的なバクスターロボットにアプローチを展開して、見えないがカテゴリが既知のインスタンスで操作タスクを実行します。その結果は、提案されたモデルの有効性をさらに検証します。私たちのビデオは補足資料で利用できます。
We propose a method of Category-level 6D Object Pose and Size Estimation (COPSE) from a single depth image, without external pose-annotated real-world training data. While previous works exploit visual cues in RGB(D) images, our method makes inferences based on the rich geometric information of the object in the depth channel alone. Essentially, our framework explores such geometric information by learning the unified 3D Orientation-Consistent Representations (3D-OCR) module, and further enforced by the property of Geometry-constrained Reflection Symmetry (GeoReS) module. The magnitude information of object size and the center point is finally estimated by Mirror-Paired Dimensional Estimation (MPDE) module. Extensive experiments on the category-level NOCS benchmark demonstrate that our framework competes with state-of-the-art approaches that require labeled real-world images. We also deploy our approach to a physical Baxter robot to perform manipulation tasks on unseen but category-known instances, and the results further validate the efficacy of our proposed model. Our videos are available in the supplementary material.