家庭用コンテナの 6D ポーズとサイズの推定は、形状、サイズ、外観、透明度などのオブジェクト プロパティのクラス内変動が大きいため、困難です。これらの物体を人が持って操作する場合、握り方の種類や、物体を持っている人を観察するカメラの視点によって引き起こされる手の閉塞の程度が異なるため、作業はより困難になります。このホワイト ペーパーでは、カテゴリ レベルの 6D オブジェクトの姿勢とサイズを推定するために、手で遮られたコンテナーの複合現実データセットを紹介します。このデータセットは、レンダリングされた手と前腕の 138,240 枚の画像で構成され、48 個の合成オブジェクトを保持しており、30 個の実際の背景で 3 つの把握カテゴリに分割されています。 Mixed Reality データセットで 6D オブジェクトの姿勢を推定するために、既存のモデルを再トレーニングしてテストします。 6D ポーズとサイズ推定のタスクを改善する際に、このデータセットを使用することの影響について説明します。
Estimating the 6D pose and size of household containers is challenging due to large intra-class variations in the object properties, such as shape, size, appearance, and transparency. The task is made more difficult when these objects are held and manipulated by a person due to varying degrees of hand occlusions caused by the type of grasps and by the viewpoint of the camera observing the person holding the object. In this paper, we present a mixed-reality dataset of hand-occluded containers for category-level 6D object pose and size estimation. The dataset consists of 138,240 images of rendered hands and forearms holding 48 synthetic objects, split into 3 grasp categories over 30 real backgrounds. We re-train and test an existing model for 6D object pose estimation on our mixed-reality dataset. We discuss the impact of the use of this dataset in improving the task of 6D pose and size estimation.