言語指令に基づいて簡単な家事を行うことは、人間にとって非常に自然なことですが、AIエージェントにとっては未解決の課題です。 「次の対話型命令」タスクは、すべてのステップで環境内を共同でナビゲート、対話、および推論するエージェントの構築に向けて前進しようとします。多面的な問題に対処するために、強化されたコンポーネントを備えたインタラクティブな知覚およびアクションポリシーストリームにタスクを因数分解するモデルを提案し、それをモジュラーオブジェクト中心アプローチであるMOCAと名付けます。一般化が改善されたALFREDベンチマークで、MOCAが従来技術よりも大幅に優れていることを経験的に検証します。
Performing simple household tasks based on language directives is very natural to humans, yet it remains an open challenge for AI agents. The 'interactive instruction following' task attempts to make progress towards building agents that jointly navigate, interact, and reason in the environment at every step. To address the multifaceted problem, we propose a model that factorizes the task into interactive perception and action policy streams with enhanced components and name it as MOCA, a Modular Object-Centric Approach. We empirically validate that MOCA outperforms prior arts by significant margins on the ALFRED benchmark with improved generalization.