遠隔操作は、タスクを実行するための洗練された推論スキル、直感、および創造性をロボットシステムに与える可能性を提供します。ただし、高度な作動(DoA)の複数指ロボットの現在の遠隔操作ソリューションは一般にコストが高く、一方、低コストの製品では通常、制御の程度が低下します。ここでは、単純な人間の手を観察するだけで23 DoAロボットシステム全体を完全に制御できる、低コストのビジョンベースの遠隔操作システムDexPilotが開発されました。 DexPilotを使用すると、オペレーターは、単純なピックアンドプレース操作を超えるさまざまな複雑な操作タスクを実行できます。これにより、困難な操作タスクの感覚運動ポリシーを学習するために将来活用できる、高次元のマルチモダリティの状態アクションデータの収集が可能になります。システムのパフォーマンスは、さまざまなタスクに関する2人のデモンストレーターの速度と信頼性の指標によって測定されました。実験のビデオはhttps://sites.google.com/view/dex-pilotで見つけることができます。
Teleoperation offers the possibility of imparting robotic systems with sophisticated reasoning skills, intuition, and creativity to perform tasks. However, current teleoperation solutions for high degree-of-actuation (DoA), multi-fingered robots are generally cost-prohibitive, while low-cost offerings usually provide reduced degrees of control. Herein, a low-cost, vision based teleoperation system, DexPilot, was developed that allows for complete control over the full 23 DoA robotic system by merely observing the bare human hand. DexPilot enables operators to carry out a variety of complex manipulation tasks that go beyond simple pick-and-place operations. This allows for collection of high dimensional, multi-modality, state-action data that can be leveraged in the future to learn sensorimotor policies for challenging manipulation tasks. The system performance was measured through speed and reliability metrics across two human demonstrators on a variety of tasks. The videos of the experiments can be found at https://sites.google.com/view/dex-pilot.