複雑な物理的タスクには一連のオブジェクトの相互作用が伴い、それぞれに独自の前提条件があります。これは、ロボットエージェントが自分の経験だけで効率的に学習するのは難しい場合があります。人間が着用したカメラでキャプチャされた野生の自己中心的なビデオから、アクティビティコンテキストの事前情報を発見するアプローチを紹介します。特定のオブジェクトについて、アクティビティコンテキストの事前設定は、アクティビティを成功させるために必要な他の互換性のあるオブジェクトのセットを表します(たとえば、トマトと一緒にナイフとまな板を組み合わせると、切断に役立ちます)。ビデオベースの事前情報を、対話を試みる前にエージェントが互換性のあるオブジェクトをまとめるように促す補助報酬関数としてエンコードします。このように、私たちのモデルは、日常の人間の経験を具体化されたエージェントのスキルに変換します。 AI2-iTHORでさまざまな複雑なタスクを実行する仮想家庭用ロボットエージェントに利益をもたらし、エージェントの学習を大幅に加速する、スクリプト化されていないキッチンアクティビティを実行する人々の自己中心的なEPIC-Kitchensビデオを使用してアイデアを示します。プロジェクトページ:http://vision.cs.utexas.edu/projects/ego-rewards/
Complex physical tasks entail a sequence of object interactions, each with its own preconditions -- which can be difficult for robotic agents to learn efficiently solely through their own experience. We introduce an approach to discover activity-context priors from in-the-wild egocentric video captured with human worn cameras. For a given object, an activity-context prior represents the set of other compatible objects that are required for activities to succeed (e.g., a knife and cutting board brought together with a tomato are conducive to cutting). We encode our video-based prior as an auxiliary reward function that encourages an agent to bring compatible objects together before attempting an interaction. In this way, our model translates everyday human experience into embodied agent skills. We demonstrate our idea using egocentric EPIC-Kitchens video of people performing unscripted kitchen activities to benefit virtual household robotic agents performing various complex tasks in AI2-iTHOR, significantly accelerating agent learning. Project page: http://vision.cs.utexas.edu/projects/ego-rewards/