雑然としたシーンで見えないオブジェクトをセグメント化することは、新しい環境でタスクを実行するためにロボットが習得する必要がある重要なスキルです。この作業では、合成データからRGB-D機能の埋め込みを学習することにより、目に見えないオブジェクトインスタンスセグメンテーションの新しい方法を提案します。メトリック学習損失関数は、同じオブジェクトからのピクセルが互いに近く、異なるオブジェクトからのピクセルが埋め込みスペースで分離されるように、ピクセルごとの特徴埋め込みを生成することを学習するために利用されます。学習した機能の埋め込みにより、平均シフトクラスタリングアルゴリズムを適用して、見えていないオブジェクトを検出してセグメント化できます。新しい2ステージクラスタリングアルゴリズムを使用して、セグメンテーションの精度をさらに向上させます。私たちの方法は、非写実的な合成RGB画像と深度画像を使用して、目に見えないオブジェクトインスタンスのセグメンテーションのために現実世界の画像にうまく転送する機能埋め込みを学習できることを示しています。
Segmenting unseen objects in cluttered scenes is an important skill that robots need to acquire in order to perform tasks in new environments. In this work, we propose a new method for unseen object instance segmentation by learning RGB-D feature embeddings from synthetic data. A metric learning loss function is utilized to learn to produce pixel-wise feature embeddings such that pixels from the same object are close to each other and pixels from different objects are separated in the embedding space. With the learned feature embeddings, a mean shift clustering algorithm can be applied to discover and segment unseen objects. We further improve the segmentation accuracy with a new two-stage clustering algorithm. Our method demonstrates that non-photorealistic synthetic RGB and depth images can be used to learn feature embeddings that transfer well to real-world images for unseen object instance segmentation.