arXiv reaDer
Conditional Driving from Natural Language Instructions
  自動運転車の普及は、その安全性だけでなく、主に人間のユーザーと対話する能力に依存します。人間のドライバーと同様に、自動運転車は自然言語の指示を理解し、安全にたどることが期待されます。これは、ユーザーの好みに応じて、または曖昧さの存在下で、特にマップのカバレッジが不十分または古い場所で、事前に計画されたルートを突然変更します。この目的のために、リカレントレイヤーとゲーテッドアテンションを使用して階層型ポリシーを実装する、言語に基づいた駆動エージェントを提案します。階層的アプローチにより、自動運転車のリアルタイム制御に必要な、長い時間範囲と低レベルで複雑な連続状態/アクション空間を記述する高レベル言語命令の両方の観点から推論することができます。私たちは、人間のドライバーとナビゲーターから収集した現実的な言語データから条件付き模倣学習を使用してポリシーをトレーニングします。 CARLAフレームワーク内での定量的かつインタラクティブな実験を通じて、我々のモデルが、以前は見えなかった環境に一般化する場合でも、言語命令を正常に解釈し、安全に追跡できることを示します。コードとビデオはで入手できます。
Widespread adoption of self-driving cars will depend not only on their safety but largely on their ability to interact with human users. Just like human drivers, self-driving cars will be expected to understand and safely follow natural-language directions that suddenly alter the pre-planned route according to user's preference or in presence of ambiguities, particularly in locations with poor or outdated map coverage. To this end, we propose a language-grounded driving agent implementing a hierarchical policy using recurrent layers and gated attention. The hierarchical approach enables us to reason both in terms of high-level language instructions describing long time horizons and low-level, complex, continuous state/action spaces required for real-time control of a self-driving car. We train our policy with conditional imitation learning from realistic language data collected from human drivers and navigators. Through quantitative and interactive experiments within the CARLA framework, we show that our model can successfully interpret language instructions and follow them safely, even when generalizing to previously unseen environments. Code and video are available at
updated: Wed Oct 16 2019 21:14:08 GMT+0000 (UTC)
published: Wed Oct 16 2019 21:14:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト