この作業では、テーブルトップ設定での点群観察から普遍的なロボットの器用な把握を学習する問題に取り組みます。目標は、高品質で多様な方法でオブジェクトを把握して持ち上げ、何百ものカテゴリや目に見えないものでさえも一般化することです。並列グリッパー把持で使用された成功したパイプラインに着想を得て、タスクを 2 つの段階に分割しました: 1) 把持提案 (ポーズ) 生成と 2) 目標条件付き把持実行。最初の段階では、並進と関節からの回転を因数分解する点群観測に基づいて条件付けられた把握ポーズの新しい確率モデルを提案します。合成された大規模な器用な把握データセットでトレーニングされたこのモデルにより、点群内のオブジェクトの多様で高品質な器用な把握ポーズをサンプリングできます。第 2 段階では、器用な把持の実行に伴う複雑さのために、並列グリッパー把持で使用されるモーション プランニングを目標条件付き把持ポリシーに置き換えることを提案します。オラクル状態なしで現実的な入力のみを取る、この非常に一般化可能な把握ポリシーを学習することは非常に困難であることに注意してください。したがって、状態の正規化、オブジェクトのカリキュラム、教師と生徒の蒸留など、いくつかの重要な革新を提案します。 2 つの段階を統合することで、最終的なパイプラインは、器用な把握のための普遍的な一般化を達成する最初のものとなり、数千のオブジェクト インスタンスで 60% を超える平均成功率を示し、すべてのベースラインを大幅に上回り、その間、最小限の一般化ギャップのみを示します。
In this work, we tackle the problem of learning universal robotic dexterous grasping from a point cloud observation under a table-top setting. The goal is to grasp and lift up objects in high-quality and diverse ways and generalize across hundreds of categories and even the unseen. Inspired by successful pipelines used in parallel gripper grasping, we split the task into two stages: 1) grasp proposal (pose) generation and 2) goal-conditioned grasp execution. For the first stage, we propose a novel probabilistic model of grasp pose conditioned on the point cloud observation that factorizes rotation from translation and articulation. Trained on our synthesized large-scale dexterous grasp dataset, this model enables us to sample diverse and high-quality dexterous grasp poses for the object in the point cloud. For the second stage, we propose to replace the motion planning used in parallel gripper grasping with a goal-conditioned grasp policy, due to the complexity involved in dexterous grasping execution. Note that it is very challenging to learn this highly generalizable grasp policy that only takes realistic inputs without oracle states. We thus propose several important innovations, including state canonicalization, object curriculum, and teacher-student distillation. Integrating the two stages, our final pipeline becomes the first to achieve universal generalization for dexterous grasping, demonstrating an average success rate of more than 60% on thousands of object instances, which significantly out performs all baselines, meanwhile showing only a minimal generalization gap.