多くの実際の設定のロボットは、グリッパーの力/トルクセンサーにアクセスでき、接触の多い動作を伴うタスクでは、触覚センシングが必要になることがよくあります。この作業では、タッチフィードバックの不一致による驚きを活用して、ハードスパース報酬強化学習タスクの探索をガイドします。私たちのアプローチであるタッチベースの好奇心(ToC)は、目に見えるオブジェクトの相互作用がどのように「感じる」と想定されているかを学習します。私たちは、期待と経験が一致しない相互作用に報いることによって探索を奨励します。提案された方法では、最初のタスクに依存しない探索フェーズの後に、タスク上の学習フェーズが続きます。このフェーズでは、元のインタラクションがタスク上の報酬で再ラベル付けされます。タッチを多用するさまざまなロボットアームタスク(オブジェクトを押す、ドアを開けるなど)でアプローチをテストします。これも、この作業の一部としてリリースします。シミュレートされた設定での複数の実験にわたって、私たちの方法がまばらな報酬と好奇心だけでこれらの困難なタスクを学習できることを示しています。クロスモーダルアプローチをシングルモダリティ(タッチまたはビジョンのみ)アプローチや他の好奇心ベースの方法と比較すると、この方法のパフォーマンスが向上し、サンプル効率が高いことがわかります。
Robots in many real-world settings have access to force/torque sensors in their gripper and tactile sensing is often necessary in tasks that involve contact-rich motion. In this work, we leverage surprise from mismatches in touch feedback to guide exploration in hard sparse-reward reinforcement learning tasks. Our approach, Touch-based Curiosity (ToC), learns what visible objects interactions are supposed to "feel" like. We encourage exploration by rewarding interactions where the expectation and the experience don't match. In our proposed method, an initial task-independent exploration phase is followed by an on-task learning phase, in which the original interactions are relabeled with on-task rewards. We test our approach on a range of touch-intensive robot arm tasks (e.g. pushing objects, opening doors), which we also release as part of this work. Across multiple experiments in a simulated setting, we demonstrate that our method is able to learn these difficult tasks through sparse reward and curiosity alone. We compare our cross-modal approach to single-modality (touch- or vision-only) approaches as well as other curiosity-based methods and find that our method performs better and is more sample-efficient.