ロボットによる把持で目覚ましい進歩が達成されたにもかかわらず、ロボットは高度なタスクに熟練していません(たとえば、特定のターゲットを乱雑に検索して把持する)。このようなタスクには、世界の把握だけでなく、包括的な認識(オブジェクトの関係など)も含まれます。最近、有望な結果は、学習することによって高レベルの概念を理解することが可能であることを示しています。ただし、このようなアルゴリズムは通常、データを大量に消費するため、データが不足しているとパフォーマンスが大幅に制限されます。この論文では、オブジェクトと把握の間の関係を学習するためのREGRADという名前の新しいデータセットを提示します。ターゲット駆動のリレーショナル把握タスクのオブジェクトポーズ、セグメンテーション、把握、および関係の注釈を収集します。私たちのデータセットは、2D画像と3D点群の両方の形式で収集されます。さらに、すべてのデータが自動的に生成されるため、データ生成のために新しいオブジェクトを自由にインポートできます。また、REGRADでトレーニングされたモデルの実際のパフォーマンスを評価するために、実際の検証データセットをリリースしました。最後に、一連の実験を実施し、REGRADでトレーニングされたモデルが、関係と把握の検出の両方の観点から、現実的なシナリオにうまく一般化できることを示しました。私たちのデータセットとコードは次の場所にあります:https://github.com/poisonwine/REGRAD
Despite the impressive progress achieved in robotic grasping, robots are not skilled in sophisticated tasks (e.g. search and grasp a specified target in clutter). Such tasks involve not only grasping but the comprehensive perception of the world (e.g. the object relationships). Recently, encouraging results demonstrate that it is possible to understand high-level concepts by learning. However, such algorithms are usually data-intensive, and the lack of data severely limits their performance. In this paper, we present a new dataset named REGRAD for the learning of relationships among objects and grasps. We collect the annotations of object poses, segmentations, grasps, and relationships for the target-driven relational grasping tasks. Our dataset is collected in both forms of 2D images and 3D point clouds. Moreover, since all the data are generated automatically, it is free to import new objects for data generation. We also released a real-world validation dataset to evaluate the sim-to-real performance of models trained on REGRAD. Finally, we conducted a series of experiments, showing that the models trained on REGRAD could generalize well to the realistic scenarios, in terms of both relationship and grasp detection. Our dataset and code could be found at: https://github.com/poisonwine/REGRAD