構造化されていない環境で機能するためには、ロボットは目に見えない新しい物体を認識する能力が必要です。テーブルトップ環境で目に見えないオブジェクトインスタンスをセグメント化する問題に取り組むことで、この方向に一歩を踏み出します。ただし、このタスクに必要な大規模な実世界のデータセットのタイプは、ほとんどのロボット設定には通常存在しないため、合成データを使用する動機となります。目に見えないオブジェクトインスタンスセグメンテーションのために、合成RGBと合成深度を個別に活用する新しい方法を提案します。私たちの方法は2つのステージで構成されており、最初のステージは深さのみを操作してラフな初期マスクを生成し、2番目のステージはこれらのマスクをRGBで調整します。驚いたことに、私たちのフレームワークは、RGBが非写実的である合成RGB-Dデータから学ぶことができます。この方法をトレーニングするために、テーブルトップ上のランダムオブジェクトの大規模な合成データセットを紹介します。このデータセットでトレーニングされたこのメソッドは、シャープで正確なマスクを生成でき、目に見えないオブジェクトインスタンスのセグメンテーションで最先端のメソッドよりも優れていることを示しています。また、この方法により、目に見えないオブジェクトをロボットの把持のためにセグメント化できることも示します。コード、モデル、ビデオはhttps://rse-lab.cs.washington.edu/projects/unseen-object-instance-segmentation/にあります。
In order to function in unstructured environments, robots need the ability to recognize unseen novel objects. We take a step in this direction by tackling the problem of segmenting unseen object instances in tabletop environments. However, the type of large-scale real-world dataset required for this task typically does not exist for most robotic settings, which motivates the use of synthetic data. We propose a novel method that separately leverages synthetic RGB and synthetic depth for unseen object instance segmentation. Our method is comprised of two stages where the first stage operates only on depth to produce rough initial masks, and the second stage refines these masks with RGB. Surprisingly, our framework is able to learn from synthetic RGB-D data where the RGB is non-photorealistic. To train our method, we introduce a large-scale synthetic dataset of random objects on tabletops. We show that our method, trained on this dataset, can produce sharp and accurate masks, outperforming state-of-the-art methods on unseen object instance segmentation. We also show that our method can segment unseen objects for robot grasping. Code, models and video can be found at https://rse-lab.cs.washington.edu/projects/unseen-object-instance-segmentation/.