arXiv reaDer
Help, Anna! Visual Navigation with Natural Multimodal Assistance via Retrospective Curiosity-Encouraging Imitation Learning
 人間の助けを活用できるモバイルエージェントは、完全に自分でできるよりも複雑なタスクを実行できる可能性があります。 「ヘルプ、アンナ!」を開発します(HANNA)、エージェントが自然言語と視覚の支援を要求して解釈することでオブジェクト検索タスクを実行する、インタラクティブな写真のようにリアルなシミュレーター。 HANNA環境でタスクを解決するエージェントは、ANNA(Automatic Natural Navigation Assistants)と呼ばれるシミュレートされたヒューマンアシスタントを活用できます。これは、要求に応じて、エージェントを目標に向ける自然言語と視覚的な指示を提供します。 HANNAの問題に対処するために、複数レベルの意思決定を階層的にモデル化する記憶増強神経エージェントと、過去の間違いを繰り返さずに同時に将来の進歩を遂げるチャンスを予測するようエージェントに教える模倣学習アルゴリズムを開発します。経験的に、当社のアプローチは競合するベースラインよりも効果的に支援を求めることができるため、以前に見た環境と以前に見たことのない環境の両方でタスクの成功率が高くなります。コードとデータはで公開しています。ビデオデモはで入手できます。
Mobile agents that can leverage help from humans can potentially accomplish more complex tasks than they could entirely on their own. We develop "Help, Anna!" (HANNA), an interactive photo-realistic simulator in which an agent fulfills object-finding tasks by requesting and interpreting natural language-and-vision assistance. An agent solving tasks in a HANNA environment can leverage simulated human assistants, called ANNA (Automatic Natural Navigation Assistants), which, upon request, provide natural language and visual instructions to direct the agent towards the goals. To address the HANNA problem, we develop a memory-augmented neural agent that hierarchically models multiple levels of decision-making, and an imitation learning algorithm that teaches the agent to avoid repeating past mistakes while simultaneously predicting its own chances of making future progress. Empirically, our approach is able to ask for help more effectively than competitive baselines and, thus, attains higher task success rate on both previously seen and previously unseen environments. We publicly release code and data at . A video demo is available at .
updated: Fri Nov 22 2019 16:11:17 GMT+0000 (UTC)
published: Wed Sep 04 2019 15:20:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト