arXiv reaDer
ゼロ シュート オブジェクト ゴール ビジュアル ナビゲーション
Zero-shot object goal visual navigation
オブジェクト ゴール ビジュアル ナビゲーションは、ロボットの視覚的観察に基づいてターゲット オブジェクトを見つけるように誘導することを目的とする挑戦的なタスクであり、ターゲットはトレーニング段階で指定されたクラスに限定されます。ただし、実際の家庭では、ロボットが処理する必要のあるオブジェクト クラスが多数存在する可能性があり、これらすべてのクラスをトレーニング段階に含めることは困難です。この課題に対処するために、トレーニングサンプルなしで新しいクラスに属するオブジェクトを見つけるようにロボットを誘導することを目的とした、ゼロショットオブジェクトナビゲーションという名前のタスクを提案します。この目的のために、新しいゼロショット オブジェクト ナビゲーション フレームワークも提案します。私たちのフレームワークは、検出結果とセマンティック ワードの埋め込み間のコサイン類似度を入力として使用します。このようなタイプの入力データはクラスとの相関が弱いため、フレームワークにはポリシーを新しいクラスに一般化する機能があります。 AI2-THOR フレームワークでの広範な実験では、モデルがゼロ ショット オブジェクト ナビゲーション タスクでベースライン モデルよりも優れていることが示されています。これは、モデルの一般化能力を証明しています。コードは https://github.com/pioneer-innovation/Zero-Shot-Object-Navigation で入手できます。
Object goal visual navigation is a challenging task that aims to guide a robot to find the target object based on its visual observation, and the target is limited to the classes specified in the training stage. However, in real households, there may exist numerous object classes that the robot needs to deal with, and it is hard for all of these classes to be contained in the training stage. To address this challenge, we propose a task named zero-shot object navigation, which aims at guiding robots to find objects belonging to novel classes without any training samples. To this end, we also propose a novel zero-shot object navigation framework. Our framework use the detection results and the cosine similarity between semantic word embeddings as input. Such type of input data has a weak correlation with classes and thus our framework has the ability to generalize the policy to novel classes. Extensive experiments on the AI2-THOR framework show that our model outperforms the baseline models in the zero-shot object navigation task, which proves the the generalization ability of our model. Our code is available at: https://github.com/pioneer-innovation/Zero-Shot-Object-Navigation.
updated: Thu Jan 05 2023 06:22:21 GMT+0000 (UTC)
published: Wed Jun 15 2022 09:53:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト