新規の非構造化環境で動作できるロボットは、以前は見えなかった新しいオブジェクトを認識できる必要があります。この作業では、視覚的な手がかりを使用して、新しい環境にローカライズする必要がある新しい関心のあるオブジェクトを指定します。シャムネットワークを備えたエンドツーエンドのニューラルネットワークを使用して、キューを学習し、関心のあるオブジェクトを推測し、それを新しい環境にローカライズします。シミュレートされたロボットが、レーザーポインターが指す新しいオブジェクトを選択して配置できることを示します。また、Omniglotの手書き文字データセットから派生したデータセットとおもちゃの小さなデータセットで提案されたアプローチのパフォーマンスを評価します。
A robot that can operate in novel and unstructured environments must be capable of recognizing new, previously unseen, objects. In this work, a visual cue is used to specify a novel object of interest which must be localized in new environments. An end-to-end neural network equipped with a Siamese network is used to learn the cue, infer the object of interest, and then to localize it in new environments. We show that a simulated robot can pick-and-place novel objects pointed to by a laser pointer. We also evaluate the performance of the proposed approach on a dataset derived from the Omniglot handwritten character dataset and on a small dataset of toys.