このホワイトペーパーでは、視覚的なセマンティックナビゲーションに焦点を当てています。これは、アクティブなエージェントが未知の環境で指定されたターゲットオブジェクトカテゴリに移動するためのアクションを生成するタスクです。このタスクを完了するには、アルゴリズムがカテゴリのインスタンスを同時に見つけてナビゲートする必要があります。従来のポイントゴールナビゲーションと比較して、このタスクでは、エージェントが屋内環境の前に、より強力なコンテキストを持っている必要があります。 SSCNavを紹介します。これは、信頼性を意識したセマンティックシーン完了モジュールを使用してシーンの事前確率を明示的にモデル化してシーンを完成させ、エージェントのナビゲーション計画をガイドするアルゴリズムです。環境の部分的な観察が与えられると、SSCNavは最初に、観察されていないシーンのセマンティックラベルと、それ自体の予測に関連付けられた信頼マップを使用して、完全なシーン表現を推測します。次に、ポリシーネットワークは、シーンの完了結果と信頼マップからアクションを推測します。私たちの実験は、提案されたシーン完了モジュールがダウンストリームナビゲーションポリシーの効率を改善することを示しています。ビデオ、コード、およびデータ:https://sscnav.cs.columbia.edu/
This paper focuses on visual semantic navigation, the task of producing actions for an active agent to navigate to a specified target object category in an unknown environment. To complete this task, the algorithm should simultaneously locate and navigate to an instance of the category. In comparison to the traditional point goal navigation, this task requires the agent to have a stronger contextual prior to indoor environments. We introduce SSCNav, an algorithm that explicitly models scene priors using a confidence-aware semantic scene completion module to complete the scene and guide the agent's navigation planning. Given a partial observation of the environment, SSCNav first infers a complete scene representation with semantic labels for the unobserved scene together with a confidence map associated with its own prediction. Then, a policy network infers the action from the scene completion result and confidence map. Our experiments demonstrate that the proposed scene completion module improves the efficiency of the downstream navigation policies. Video, code, and data: https://sscnav.cs.columbia.edu/