視覚言語ナビゲーション (VLN) は、現実世界のシーンで自然言語によるナビゲーション指示に従う視覚エージェントをシミュレートします。既存のアプローチは、ビーム検索、事前探査、動的または階層的な履歴エンコーディングなど、新しい環境でのナビゲーションにおいて大きな進歩を遂げました。一般化と効率のバランスをとるために、ナビゲーション中に進行中のルートとは別に、訪れたシナリオを記憶することに頼っています。この作業では、現在のシーンに入ったときにエージェントの過去の訪問の記憶を目覚めさせる VLN のエピソード シーン メモリ (ESceme) のメカニズムを紹介します。エピソード シーンの記憶により、エージェントは次の予測の全体像を思い描くことができます。このようにして、エージェントは単に静的な観察に適応するのではなく、動的に更新された情報を利用することを学びます。各場所でアクセス可能なビューを強化し、ナビゲートしながら徐々にメモリを完成させることにより、ESceme のシンプルかつ効果的な実装を提供します。短い視野 (R2R)、長い視野 (R4R)、およびビジョンとダイアログ (CVDN) の VLN タスクでの ESceme の優位性を検証します。当社の ESceme は、CVDN リーダーボードでも 1 位を獲得しています。コードは https://github.com/qizhust/esceme から入手できます。}
Vision-and-language navigation (VLN) simulates a visual agent that follows natural-language navigation instructions in real-world scenes. Existing approaches have made enormous progress in navigation in new environments, such as beam search, pre-exploration, and dynamic or hierarchical history encoding. To balance generalization and efficiency, we resort to memorizing visited scenarios apart from the ongoing route while navigating. In this work, we introduce a mechanism of Episodic Scene memory (ESceme) for VLN that wakes an agent's memories of past visits when it enters the current scene. The episodic scene memory allows the agent to envision a bigger picture of the next prediction. This way, the agent learns to utilize dynamically updated information instead of merely adapting to static observations. We provide a simple yet effective implementation of ESceme by enhancing the accessible views at each location and progressively completing the memory while navigating. We verify the superiority of ESceme on short-horizon (R2R), long-horizon (R4R), and vision-and-dialog (CVDN) VLN tasks. Our ESceme also wins first place on the CVDN leaderboard. Code is available: https://github.com/qizhust/esceme.}