arXiv reaDer
Unseen Object Instance Segmentation for Robotic Environments
構造化されていない環境で機能するために、ロボットは目に見えないオブジェクトを認識する機能が必要です。テーブルトップ環境で目に見えないオブジェクトインスタンスをセグメント化する問題に取り組むことで、この方向に一歩を踏み出します。ただし、このタスクに必要な大規模な実世界のデータセットのタイプは、ほとんどのロボット設定には通常存在しないため、合成データを使用する動機となります。私たちが提案する方法であるUOIS-Netは、見えないオブジェクトインスタンスのセグメンテーションのために、合成RGBと合成深度を個別に利用します。 UOIS-Netは2つの段階で構成されています。最初に、深さのみで動作し、2Dまたは3Dでオブジェクトインスタンスの中央投票を生成し、それらを大まかな初期マスクに組み立てます。次に、これらの初期マスクはRGBを使用して調整されます。驚いたことに、私たちのフレームワークは、RGBが非写実的である合成RGB-Dデータから学ぶことができます。この方法をトレーニングするために、テーブルトップ上のランダムオブジェクトの大規模な合成データセットを紹介します。私たちの方法は、鋭く正確なセグメンテーションマスクを生成できることを示し、目に見えないオブジェクトインスタンスのセグメンテーションに対して最先端のメソッドよりも優れています。また、この方法により、目に見えないオブジェクトをロボットの把持のためにセグメント化できることも示します。
In order to function in unstructured environments, robots need the ability to recognize unseen objects. We take a step in this direction by tackling the problem of segmenting unseen object instances in tabletop environments. However, the type of large-scale real-world dataset required for this task typically does not exist for most robotic settings, which motivates the use of synthetic data. Our proposed method, UOIS-Net, separately leverages synthetic RGB and synthetic depth for unseen object instance segmentation. UOIS-Net is comprised of two stages: first, it operates only on depth to produce object instance center votes in 2D or 3D and assembles them into rough initial masks. Secondly, these initial masks are refined using RGB. Surprisingly, our framework is able to learn from synthetic RGB-D data where the RGB is non-photorealistic. To train our method, we introduce a large-scale synthetic dataset of random objects on tabletops. We show that our method can produce sharp and accurate segmentation masks, outperforming state-of-the-art methods on unseen object instance segmentation. We also show that our method can segment unseen objects for robot grasping.
updated: Thu Oct 14 2021 02:56:33 GMT+0000 (UTC)
published: Thu Jul 16 2020 01:59:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト