自然言語に基づく具体化されたタスクの完了は、自然言語の指示を理解し、それらを自己中心的な視覚的観察と整合させ、環境で実行する適切なアクションを選択して目的の変更を生成する必要があるため、困難な問題です。このタスクのトランスフォーマーモデルを、より広い視野を効果的に利用するモジュールで拡張して実験し、次のステップでナビゲーションまたは操作アクションが必要かどうかを選択する方法を学びます。提案されたモジュールにより、人気のあるベンチマークデータセットであるALFREDの目に見えない検証セットで、改善された、実際には最先端のパフォーマンスが得られることがわかりました。ただし、見えない検証セットを使用して選択した最良のモデルは、ALFREDの見えないテスト分割ではパフォーマンスが低く、見えない検証セットでのパフォーマンス自体が、モデルの改善が見えないテストセットに一般化するかどうかの十分な指標ではない可能性があることを示しています。この結果は、機械学習タスクではより広い現象である可能性があるが、主にテスト分割の評価を制限するベンチマークでのみ顕著であると考えられるため、この結果を強調し、モデルのパフォーマンスの変動をより適切に説明するためにベンチマーク設計を変更する必要があることを強調します。
Natural language guided embodied task completion is a challenging problem since it requires understanding natural language instructions, aligning them with egocentric visual observations, and choosing appropriate actions to execute in the environment to produce desired changes. We experiment with augmenting a transformer model for this task with modules that effectively utilize a wider field of view and learn to choose whether the next step requires a navigation or manipulation action. We observed that the proposed modules resulted in improved, and in fact state-of-the-art performance on an unseen validation set of a popular benchmark dataset, ALFRED. However, our best model selected using the unseen validation set underperforms on the unseen test split of ALFRED, indicating that performance on the unseen validation set may not in itself be a sufficient indicator of whether model improvements generalize to unseen test sets. We highlight this result as we believe it may be a wider phenomenon in machine learning tasks but primarily noticeable only in benchmarks that limit evaluations on test splits, and highlights the need to modify benchmark design to better account for variance in model performance.