arXiv reaDer
Learning To Follow Directions in Street View
 現実の世界をナビゲートして理解することは、機械学習の重要な課題であり、言語のグラウンディング、計画、ナビゲーション、コンピュータービジョンなどの分野で多種多様な研究を刺激します。上記のすべてを必要とし、シミュレートされた環境の実用性とあいまいでノイズの多い現実世界のデータの課題を組み合わせた、指示に従うタスクを提案します。 StreetNavはGoogleストリートビューの上に構築されており、実際の場所を表す視覚的に正確な環境を提供します。エージェントには、この環境で正常にナビゲートするために解釈することを学ぶ必要がある運転指示が与えられます。運転指示を装備した人間は、これまで見えなかった都市を容易にナビゲートできるため、高い基準を設定し、同様の認知能力について訓練を受けたエージェントをテストします。深層強化学習(RL)方法は、トレーニング分布に厳密に従うデータでのみ評価されることが多いのですが、このデータセットは複数の都市に拡張されており、トレイン/テストの分離が明確です。これにより、汎化能力の徹底的なテストが可能になります。このホワイトペーパーでは、StreetNav環境とタスク、強力なベースラインを確立するモデル、およびタスクとトレーニングを受けたエージェントの広範な分析について説明します。
Navigating and understanding the real world remains a key challenge in machine learning and inspires a great variety of research in areas such as language grounding, planning, navigation and computer vision. We propose an instruction-following task that requires all of the above, and which combines the practicality of simulated environments with the challenges of ambiguous, noisy real world data. StreetNav is built on top of Google Street View and provides visually accurate environments representing real places. Agents are given driving instructions which they must learn to interpret in order to successfully navigate in this environment. Since humans equipped with driving instructions can readily navigate in previously unseen cities, we set a high bar and test our trained agents for similar cognitive capabilities. Although deep reinforcement learning (RL) methods are frequently evaluated only on data that closely follow the training distribution, our dataset extends to multiple cities and has a clean train/test separation. This allows for thorough testing of generalisation ability. This paper presents the StreetNav environment and tasks, models that establish strong baselines, and extensive analysis of the task and the trained agents.
updated: Thu Nov 21 2019 22:38:35 GMT+0000 (UTC)
published: Fri Mar 01 2019 16:50:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト