arXiv reaDer
Unsupervised Reinforcement Learning of Transferable Meta-Skills for Embodied Navigation
 視覚的ナビゲーションは、視覚的観察のみを使用してターゲットオブジェクト(テレビなど)にインテリジェントにナビゲートすることにより、具体化されたエージェントをトレーニングするタスクです。現在の深層強化学習モデルの主な課題は、大量のトレーニングデータの要件にあります。ターゲットオブジェクト情報で注釈付けされた十分な3D合成環境を構築するのは非常に高価です。このホワイトペーパーでは、リソースの少ない設定でのビジュアルナビゲーションに焦点を当てます。この環境では、オブジェクト情報で注釈が付けられたトレーニング環境はわずかです。監視信号なしで注釈なしの環境から移動可能なメタスキル(たとえば、障害物を迂回し、直進する)を学習するための、新規の教師なし強化学習アプローチを提案します。次に、エージェントは、視覚ナビゲーションで指定された報酬が提供されたときに、これらのメタスキルを組み合わせるための高レベルのマスターポリシーを学習することにより、視覚ナビゲーションにすばやく適応できます。 AI2-THOR環境での評価により、本手法はSPLでベースラインを53.34%大幅に上回ることが示され、さらに定性分析により、本手法が視覚ナビゲーション用の移動可能なモータープリミティブを学習することが示されます。
Visual navigation is a task of training an embodied agent by intelligently navigating to a target object (e.g., television) using only visual observations. A key challenge for current deep reinforcement learning models lies in the requirements for a large amount of training data. It is exceedingly expensive to construct sufficient 3D synthetic environments annotated with the target object information. In this paper, we focus on visual navigation in the low-resource setting, where we have only a few training environments annotated with object information. We propose a novel unsupervised reinforcement learning approach to learn transferable meta-skills (e.g., bypass obstacles, go straight) from unannotated environments without any supervisory signals. The agent can then fast adapt to visual navigation through learning a high-level master policy to combine these meta-skills, when the visual-navigation-specified reward is provided. Evaluation in the AI2-THOR environments shows that our method significantly outperforms the baseline by 53.34% relatively on SPL, and further qualitative analysis demonstrates that our method learns transferable motor primitives for visual navigation.
updated: Mon Apr 06 2020 03:53:02 GMT+0000 (UTC)
published: Mon Nov 18 2019 06:53:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト