多くの視覚言語タスクの精度は、視覚と言語(V&L)BERTの適用から大幅に恩恵を受けています。ただし、視覚と言語のナビゲーション(VLN)のタスクへのアプリケーションは制限されたままです。この理由の1つは、BERTアーキテクチャをVLNに存在する部分的に観察可能なマルコフ決定過程に適応させることが困難であり、履歴に依存する注意と意思決定が必要なことです。この論文では、VLNで使用するための時間を意識した反復BERTモデルを提案します。具体的には、BERTモデルに、エージェントのクロスモーダル状態情報を維持する反復関数を装備します。 R2RとREVERIEに関する広範な実験を通じて、私たちのモデルがより複雑なエンコーダー-デコーダーモデルに取って代わり、最先端の結果を達成できることを示しています。さらに、私たちのアプローチは、他のトランスフォーマーベースのアーキテクチャに一般化でき、事前トレーニングをサポートし、マルチタスク学習が可能であり、他のビジョンおよび言語タスクのために幅広いBERTのようなモデルをマージする可能性を示唆しています。
Accuracy of many visiolinguistic tasks has benefited significantly from the application of vision-and-language (V&L) BERT. However, its application for the task of vision-and-language navigation (VLN) remains limited. One reason for this is the difficulty adapting the BERT architecture to the partially observable Markov decision process present in VLN, requiring history-dependent attention and decision making. In this paper we propose a recurrent BERT model that is time-aware for use in VLN. Specifically, we equip the BERT model with a recurrent function that maintains cross-modal state information for the agent. Through extensive experiments on R2R and REVERIE we demonstrate that our model can replace more complex encoder-decoder models to achieve state-of-the-art results. Moreover, our approach can be generalised to other transformer-based architectures, supports pre-training, and is capable of multi-task learning suggesting the potential to merge a wide range of BERT-like models for other vision and language tasks.