洗ったリンゴをキッチンの冷蔵庫に入れるなどの簡単なリクエストがあれば、人間は、筋肉を動かすことなく、アクションシーケンスを想像し、成功の可能性、プロトタイプ性、効率性をスコアリングすることで、純粋に抽象的な言葉で推論できます。問題のキッチンを見つけたら、シーンに合わせて抽象的な計画を更新できます。具現化されたエージェントは同じ能力を必要としますが、既存の作業は、抽象的に推論し、具体的に実行するために必要なインフラストラクチャをまだ提供していません。エージェントがTextWorldで抽象的なテキストベースのポリシーを学習し(C \ ^otéetal。、2018)、ALFREDベンチマークから目標を実行できるようにするシミュレーターであるALFWorld(Shridhar et al。、2020)を導入することで、この制限に対処します。豊かな視覚環境。 ALFWorldを使用すると、TextWorldで学習した抽象的な知識が、具体的で視覚的に根拠のあるアクションに直接対応する新しいBUTLERエージェントを作成できます。次に、経験的に示すように、これは視覚的に接地された環境でのみトレーニングするよりも優れたエージェントの一般化を促進します。バトラーのシンプルなモジュラー設計は、研究者がパイプラインのすべての部分(言語理解、計画、ナビゲーション、および視覚的シーンの理解)を改善するためのモデルに集中できるように問題を考慮に入れています。
Given a simple request like Put a washed apple in the kitchen fridge, humans can reason in purely abstract terms by imagining action sequences and scoring their likelihood of success, prototypicality, and efficiency, all without moving a muscle. Once we see the kitchen in question, we can update our abstract plans to fit the scene. Embodied agents require the same abilities, but existing work does not yet provide the infrastructure necessary for both reasoning abstractly and executing concretely. We address this limitation by introducing ALFWorld, a simulator that enables agents to learn abstract, text based policies in TextWorld (C\^oté et al., 2018) and then execute goals from the ALFRED benchmark (Shridhar et al., 2020) in a rich visual environment. ALFWorld enables the creation of a new BUTLER agent whose abstract knowledge, learned in TextWorld, corresponds directly to concrete, visually grounded actions. In turn, as we demonstrate empirically, this fosters better agent generalization than training only in the visually grounded environment. BUTLER's simple, modular design factors the problem to allow researchers to focus on models for improving every piece of the pipeline (language understanding, planning, navigation, and visual scene understanding).