arXiv reaDer
TEACh:チャットするタスク駆動型の具体化されたエージェント
TEACh: Task-driven Embodied Agents that Chat
人間の空間で動作するロボットは、指示を理解して実行し、会話を使用してあいまいさを解決し、間違いから回復することで、人々と自然言語の相互作用を行うことができなければなりません。これを研究するために、シミュレーションで家事を完了するための3,000を超える人間と人間のインタラクティブな対話のデータセットであるTEAChを紹介します。タスクに関するオラクル情報にアクセスできる司令官は、自然言語でフォロワーと通信します。フォロワーは、環境をナビゲートして対話し、「コーヒーを作る」から「朝食を準備する」までさまざまな複雑さのタスクを完了し、質問をしたり、司令官から追加情報を入手したりします。 TEAChを使用して具体化されたインテリジェンスの課題を研究するための3つのベンチマークを提案し、対話の理解、言語の基礎、およびタスクの実行における初期モデルの能力を評価します。
Robots operating in human spaces must be able to engage in natural language interaction with people, both understanding and executing instructions, and using conversation to resolve ambiguity and recover from mistakes. To study this, we introduce TEACh, a dataset of over 3,000 human--human, interactive dialogues to complete household tasks in simulation. A Commander with access to oracle information about a task communicates in natural language with a Follower. The Follower navigates through and interacts with the environment to complete tasks varying in complexity from "Make Coffee" to "Prepare Breakfast", asking questions and getting additional information from the Commander. We propose three benchmarks using TEACh to study embodied intelligence challenges, and we evaluate initial models' abilities in dialogue understanding, language grounding, and task execution.
updated: Fri Oct 15 2021 17:08:43 GMT+0000 (UTC)
published: Fri Oct 01 2021 17:00:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト