arXiv reaDer
ゼロ シュート オブジェクト ゴール ビジュアル ナビゲーション
Zero-shot object goal visual navigation
オブジェクト ゴール ビジュアル ナビゲーションは、ロボットの視覚的観察に基づいてターゲット オブジェクトを見つけるようにロボットを誘導することを目的とする挑戦的なタスクであり、ターゲットはトレーニング段階で事前に定義されたクラスに限定されます。しかし、実際の家庭では、ロボットが対応しなければならない多数の対象クラスが存在する可能性があり、これらすべてのクラスをトレーニング段階に含めることは困難です。この課題に対処するために、トレーニングサンプルなしで新しいクラスに属するターゲットを見つけるようにロボットを誘導することを目的としたゼロショットオブジェクトゴールビジュアルナビゲーションタスクを研究します。この目的のために、セマンティック類似性ネットワーク (SSNet) と呼ばれる新しいゼロ ショット オブジェクト ナビゲーション フレームワークも提案します。私たちのフレームワークは、検出結果とセマンティック ワードの埋め込み間のコサイン類似度を入力として使用します。このようなタイプの入力データはクラスとの相関が弱いため、フレームワークにはポリシーを新しいクラスに一般化する機能があります。 AI2-THOR プラットフォームでの広範な実験では、ゼロ ショット オブジェクト ナビゲーション タスクでモデルがベースライン モデルよりも優れていることが示され、モデルの一般化能力が証明されています。コードは https://github.com/pioneer-innovation/Zero-Shot-Object-Navigation で入手できます。
Object goal visual navigation is a challenging task that aims to guide a robot to find the target object based on its visual observation, and the target is limited to the classes pre-defined in the training stage. However, in real households, there may exist numerous target classes that the robot needs to deal with, and it is hard for all of these classes to be contained in the training stage. To address this challenge, we study the zero-shot object goal visual navigation task, which aims at guiding robots to find targets belonging to novel classes without any training samples. To this end, we also propose a novel zero-shot object navigation framework called semantic similarity network (SSNet). Our framework use the detection results and the cosine similarity between semantic word embeddings as input. Such type of input data has a weak correlation with classes and thus our framework has the ability to generalize the policy to novel classes. Extensive experiments on the AI2-THOR platform show that our model outperforms the baseline models in the zero-shot object navigation task, which proves the generalization ability of our model. Our code is available at: https://github.com/pioneer-innovation/Zero-Shot-Object-Navigation.
updated: Mon Feb 20 2023 03:46:36 GMT+0000 (UTC)
published: Wed Jun 15 2022 09:53:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト