一般化可能な操作スキルを学ぶことは、無限のシーンやオブジェクトのバリエーションがある環境でタスクの自動化を実現するためのロボットの中心です。ただし、既存のロボット学習環境は、3Dアセット(特に関節オブジェクト)の規模と多様性の両方に制限があるため、新しいオブジェクトに対するエージェントの一般化能力をトレーニングおよび評価することは困難です。この作業では、オブジェクトレベルの一般化に焦点を当て、3D視覚入力(点群とRGB-D画像)を使用した関節式オブジェクト操作の大規模なデモンストレーションからの学習ベンチマークであるSAPIEN操作スキルベンチマーク(ManiSkillと略記)を提案します。 。 ManiSkillは、豊富で多様な関節オブジェクトのセットを利用することでオブジェクトレベルのバリエーションをサポートし、各タスクは、単一のカテゴリのオブジェクトの操作を学習するように注意深く設計されています。 ManiSkillには、デモンストレーションからの学習アプローチを容易にし、ベースラインアルゴリズムの評価を実行するために、多数の高品質のデモンストレーションが装備されています。 ManiSkillは、ロボット学習コミュニティが一般化可能なオブジェクト操作スキルの学習についてさらに探求することを奨励できると信じています。
Learning generalizable manipulation skills is central for robots to achieve task automation in environments with endless scene and object variations. However, existing robot learning environments are limited in both scale and diversity of 3D assets (especially of articulated objects), making it difficult to train and evaluate the generalization ability of agents over novel objects. In this work, we focus on object-level generalization and propose SAPIEN Manipulation Skill Benchmark (abbreviated as ManiSkill), a large-scale learning-from-demonstrations benchmark for articulated object manipulation with 3D visual input (point cloud and RGB-D image). ManiSkill supports object-level variations by utilizing a rich and diverse set of articulated objects, and each task is carefully designed for learning manipulations on a single category of objects. We equip ManiSkill with a large number of high-quality demonstrations to facilitate learning-from-demonstrations approaches and perform evaluations on baseline algorithms. We believe that ManiSkill can encourage the robot learning community to explore more on learning generalizable object manipulation skills.