arXiv reaDer
Learning Navigation Subroutines from Egocentric Videos
  低レベルのトルクの代わりに高レベルの抽象化で計画すると、強化学習のサンプル効率、および従来の計画の計算効率が向上します。このような階層的な抽象化、またはタスクを実行する専門家のエゴセントリックなビデオデータからサブルーチンを学習する方法を提案します。少量のランダムな相互作用データの自己教師付き逆モデルを学習して、エージェントのアクションでエキスパートエゴセントリックビデオに疑似ラベルを付けます。 Visuomotorサブルーチンは、これらの擬似ラベル付きビデオから、対応する画像観測から推測された擬似アクションを予測する潜在的意図条件付きポリシーを学習することにより取得されます。ナビゲーションのコンテキストで提案されたアプローチを示し、首尾一貫した多様な視覚運動サブルーチンを受動的自己中心的ビデオから正常に学習できることを示します。私たちは、取得した視覚モーターサブルーチンを探索のためにそのまま使用することにより、またポイント目標とセマンティック目標に到達するための階層RLフレームワークのサブポリシーとして使用することにより、有用性を実証します。また、実際のロボットプラットフォームに展開することにより、実際の世界でのサブルーチンの動作を示します。プロジェクトのウェブサイト:。
Planning at a higher level of abstraction instead of low level torques improves the sample efficiency in reinforcement learning, and computational efficiency in classical planning. We propose a method to learn such hierarchical abstractions, or subroutines from egocentric video data of experts performing tasks. We learn a self-supervised inverse model on small amounts of random interaction data to pseudo-label the expert egocentric videos with agent actions. Visuomotor subroutines are acquired from these pseudo-labeled videos by learning a latent intent-conditioned policy that predicts the inferred pseudo-actions from the corresponding image observations. We demonstrate our proposed approach in context of navigation, and show that we can successfully learn consistent and diverse visuomotor subroutines from passive egocentric videos. We demonstrate the utility of our acquired visuomotor subroutines by using them as is for exploration, and as sub-policies in a hierarchical RL framework for reaching point goals and semantic goals. We also demonstrate behavior of our subroutines in the real world, by deploying them on a real robotic platform. Project website:
updated: Tue Oct 15 2019 08:10:25 GMT+0000 (UTC)
published: Wed May 29 2019 17:50:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト