現在のロボットの手の届かない非構造化環境でのツールの使用など、多くの器用な操作タスクを実行するには、手持ちのオブジェクトの向きを変える必要があります。以前の研究では、次の特定の状況の 1 つまたは多くを想定した再配向システムが構築されました: 単純な形状の特定のオブジェクトのみの再配向、再配向の限られた範囲、低速または準静的な操作、特殊で高価なセンサー スイートの必要性、シミュレーションのみの結果、およびその他システムを現実世界への展開を不可能にする制約。これらの制限を克服し、シミュレーションで強化学習を使用してトレーニングされ、現実の世界で評価される一般的なオブジェクト再配向コントローラーを提示します。私たちのシステムは、単一の市販の深度カメラからの読み取り値を使用して、複雑なオブジェクトをリアルタイムで動的に再配置します。コントローラーは、トレーニング中に使用されない新しいオブジェクトに一般化されます。これは、最も困難なテストで成功しています。つまり、向きを変える際に重力に逆らわなければならない下向きの手で保持された空中のオブジェクトの向きを変える能力です。結果は、シミュレーションから現実の世界へのポリシーの移行が、動的で接触の多いタスクでも達成できることを示しています。最後に、私たちのハードウェアは、5,000 ドル未満のオープンソース コンポーネントのみを使用しています。このような構成により、作業を複製し、器用な操作で将来の研究を民主化することが可能になります。ビデオは https://taochenshh.github.io/projects/visual-dexterity で入手できます。
In-hand object reorientation is necessary for performing many dexterous manipulation tasks, such as tool use in unstructured environments that remain beyond the reach of current robots. Prior works built reorientation systems that assume one or many of the following specific circumstances: reorienting only specific objects with simple shapes, limited range of reorientation, slow or quasistatic manipulation, the need for specialized and costly sensor suites, simulation-only results, and other constraints which make the system infeasible for real-world deployment. We overcome these limitations and present a general object reorientation controller that is trained using reinforcement learning in simulation and evaluated in the real world. Our system uses readings from a single commodity depth camera to dynamically reorient complex objects by any amount in real time. The controller generalizes to novel objects not used during training. It is successful in the most challenging test: the ability to reorient objects in the air held by a downward-facing hand that must counteract gravity during reorientation. The results demonstrate that the policy transfer from simulation to the real world can be accomplished even for dynamic and contact-rich tasks. Lastly, our hardware only uses open-source components that cost less than five thousand dollars. Such construction makes it possible to replicate the work and democratize future research in dexterous manipulation. Videos are available at: https://taochenshh.github.io/projects/visual-dexterity.