仮想現実の人からの1つのデモンストレーションでタスクを教えられた後、実際の家で複雑な人間レベルのタスクを自律的に実行できるモバイル操作ハードウェアおよびソフトウェアシステムについて説明します。これは、非常に有能なモバイル操作ロボット、全身タスクスペースハイブリッドポジション/フォース制御、シーンのロバストな学習された高密度視覚埋め込み表現にリンクされたパラメーター化されたプリミティブの教示、および教示された動作のタスクグラフによって可能になります。複数の実際の家で、さまざまな環境条件下でさまざまなタスクを実行した結果を提示することで、アプローチの堅牢性を実証します。私たちのアプローチは、それぞれ平均45の行動で構成される3つのタスクで85%の全体的な成功率を達成します。
We describe a mobile manipulation hardware and software system capable of autonomously performing complex human-level tasks in real homes, after being taught the task with a single demonstration from a person in virtual reality. This is enabled by a highly capable mobile manipulation robot, whole-body task space hybrid position/force control, teaching of parameterized primitives linked to a robust learned dense visual embeddings representation of the scene, and a task graph of the taught behaviors. We demonstrate the robustness of the approach by presenting results for performing a variety of tasks, under different environmental conditions, in multiple real homes. Our approach achieves 85% overall success rate on three tasks that consist of an average of 45 behaviors each.