arXiv reaDer
Learning Efficient Multi-Agent Cooperative Visual Exploration
複数のエージェントによる視覚的な屋内探索のタスクを検討します。エージェントは、可能な限り少ない手順で屋内領域全体を協調的に探索する必要があります。従来の計画ベースの方法は、多くの場合、各推論ステップでの特にコストのかかる計算と、協力戦略の限定された表現力に悩まされます。対照的に、強化学習(RL)は、任意に複雑な戦略のモデリング機能と最小限の推論オーバーヘッドにより、この課題に取り組むためのトレンドパラダイムになっています。最先端のシングルエージェントRLソリューションであるActiveNeural SLAM(ANS)をマルチエージェント設定に拡張するために、新しいRLベースのグローバルゴールプランナーであるSpatial Coordination Planner(SCP)を導入します。個々のエージェントからの空間情報をエンドツーエンドで提供し、エージェントがさまざまな空間目標に向かって高い探索効率でナビゲートするように効果的にガイドします。 SCPは、エージェント内の相互作用をキャプチャするためのトランスフォーマーベースのリレーションエンコーダーと、正確な目標を生成するための空間アクションデコーダーで構成されています。さらに、いくつかのマルチエージェント拡張機能を実装して、各エージェントからのローカル情報を処理し、調整された空間表現とより正確な計画を実現します。私たちの最終的なソリューションであるマルチエージェントアクティブニューラルSLAM(MAANS)は、これらすべての手法を組み合わせており、フォトリアリスティックな物理テストベッドであるハビタットの4つの異なる計画ベースの方法とさまざまなRLベースラインを大幅に上回っています。
We consider the task of visual indoor exploration with multiple agents, where the agents need to cooperatively explore the entire indoor region using as few steps as possible. Classical planning-based methods often suffer from particularly expensive computation at each inference step and a limited expressiveness of cooperation strategy. By contrast, reinforcement learning (RL) has become a trending paradigm for tackling this challenge due to its modeling capability of arbitrarily complex strategies and minimal inference overhead. We extend the state-of-the-art single-agent RL solution, Active Neural SLAM (ANS), to the multi-agent setting by introducing a novel RL-based global-goal planner, Spatial Coordination Planner (SCP), which leverages spatial information from each individual agent in an end-to-end manner and effectively guides the agents to navigate towards different spatial goals with high exploration efficiency. SCP consists of a transformer-based relation encoder to capture intra-agent interactions and a spatial action decoder to produce accurate goals. In addition, we also implement a few multi-agent enhancements to process local information from each agent for an aligned spatial representation and more precise planning. Our final solution, Multi-Agent Active Neural SLAM (MAANS), combines all these techniques and substantially outperforms 4 different planning-based methods and various RL baselines in the photo-realistic physical testbed, Habitat.
updated: Tue Oct 12 2021 04:48:10 GMT+0000 (UTC)
published: Tue Oct 12 2021 04:48:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト