視覚言語ナビゲーション (VLN) は、現実世界のシーンで自然言語によるナビゲーション指示に従う視覚エージェントをシミュレートします。既存のアプローチは、ビーム検索、事前探査、動的または階層的な履歴エンコーディングなど、新しい環境でのナビゲーションにおいて大きな進歩を遂げました。一般化と効率のバランスをとるために、ナビゲーション中に進行中のルートとは別に、訪れたシナリオを記憶することに頼っています。この作業では、現在のシーンに入ったときにエージェントの過去の訪問の記憶を目覚めさせる VLN のエピソード シーン メモリ (ESceme) のメカニズムを紹介します。エピソード シーンの記憶により、エージェントは次の予測の全体像を思い描くことができます。このようにして、エージェントは単に見た環境に適応するのではなく、現在入手可能な情報を最大限に活用することを学びます。トレーニング中に候補ノードの観測機能を強化することにより、シンプルで効果的な実装を提供します。短期視野航法(R2R)、長期視野航法(R4R)、ビジョン・アンド・ダイアログ航法(CVDN)の3つのVLNタスクでEScemeの優位性を検証し、新たな最先端技術を実現.コードは https://github.com/qizhust/esceme から入手できます。
Vision-and-language navigation (VLN) simulates a visual agent that follows natural-language navigation instructions in real-world scenes. Existing approaches have made enormous progress in navigation in new environments, such as beam search, pre-exploration, and dynamic or hierarchical history encoding. To balance generalization and efficiency, we resort to memorizing visited scenarios apart from the ongoing route while navigating. In this work, we introduce a mechanism of Episodic Scene memory (ESceme) for VLN that wakes an agent's memories of past visits when it enters the current scene. The episodic scene memory allows the agent to envision a bigger picture of the next prediction. In this way, the agent learns to make the most of currently available information instead of merely adapting to the seen environments. We provide a simple yet effective implementation by enhancing the observation features of candidate nodes during training. We verify the superiority of ESceme on three VLN tasks, including short-horizon navigation (R2R), long-horizon navigation (R4R), and vision-and-dialog navigation (CVDN), and achieve a new state-of-the-art. Code is available: https://github.com/qizhust/esceme.