手動の注釈は高価であるため、合成データで6Dポーズ推定システムをトレーニングすることがしばしば望まれます。ただし、合成画像と実像の間のドメインギャップが大きいため、カラー画像の合成にはコストがかかります。対照的に、このドメインギャップはかなり小さく、深度情報を埋めるのが簡単です。この作業では、点群によって表される深度情報から6Dオブジェクトのポーズを回帰するシステムと、トレーニング用の合成点群セグメントを作成する軽量のデータ合成パイプラインを紹介します。ポーズ回帰のために6Dオブジェクトのポーズ情報をエンコードする潜在コードを学習するために、拡張オートエンコーダー(AAE)を使用します。データ合成パイプラインは、テクスチャのない3Dオブジェクトモデルと必要な視点のみを必要とし、時間とハードウェアストレージの両方の点で安価です。当社のデータ合成プロセスは、RGB画像データをレンダリングする一般的に適用されるアプローチよりも最大3桁高速です。 LineMOD、LineMOD Occlusion、およびYCBVideoデータセットに対するシステムの有効性を示します。私たちのシステムの実装は、https://github.com/GeeeG/CloudAAEで入手できます。
It is often desired to train 6D pose estimation systems on synthetic data because manual annotation is expensive. However, due to the large domain gap between the synthetic and real images, synthesizing color images is expensive. In contrast, this domain gap is considerably smaller and easier to fill for depth information. In this work, we present a system that regresses 6D object pose from depth information represented by point clouds, and a lightweight data synthesis pipeline that creates synthetic point cloud segments for training. We use an augmented autoencoder (AAE) for learning a latent code that encodes 6D object pose information for pose regression. The data synthesis pipeline only requires texture-less 3D object models and desired viewpoints, and it is cheap in terms of both time and hardware storage. Our data synthesis process is up to three orders of magnitude faster than commonly applied approaches that render RGB image data. We show the effectiveness of our system on the LineMOD, LineMOD Occlusion, and YCB Video datasets. The implementation of our system is available at: https://github.com/GeeeG/CloudAAE.