新しい環境で動作し、人間と協力しなければならないロボットは、動作中に人間の専門家から新しい知識を獲得できなければなりません。新しい興味のあるオブジェクトに手を向けることで、これまで遭遇したことのない新しいオブジェクトをロボットに教えることを提案します。エンドツーエンドのニューラルネットワークを使用して、ポインティングハンドによって示される新しい関心のあるオブジェクトに対応し、新しいシーンでオブジェクトをローカライズします。ポインティングハンドによって示される新しいオブジェクトに注意を向けるために、シーン内の他のオブジェクトを無視しながら、強調表示されたオブジェクトに焦点を当てることを学習する空間注意変調メカニズムを提案します。ロボットアームが、ハイライトされた新しいオブジェクトに手を向けることでそれらを操作できることを示します。また、絵文字を使用して構築された合成データセットと一般的なオブジェクトの実際のデータセットで、提案されたアーキテクチャのパフォーマンスを評価します。
Robots that must operate in novel environments and collaborate with humans must be capable of acquiring new knowledge from human experts during operation. We propose teaching a robot novel objects it has not encountered before by pointing a hand at the new object of interest. An end-to-end neural network is used to attend to the novel object of interest indicated by the pointing hand and then to localize the object in new scenes. In order to attend to the novel object indicated by the pointing hand, we propose a spatial attention modulation mechanism that learns to focus on the highlighted object while ignoring the other objects in the scene. We show that a robot arm can manipulate novel objects that are highlighted by pointing a hand at them. We also evaluate the performance of the proposed architecture on a synthetic dataset constructed using emojis and on a real-world dataset of common objects.