学習には勉強と好奇心の両方が必要です。優れた学習者は、与えられたデータから情報を抽出するのが得意であるだけでなく、学ぶべき適切な新しい情報を見つけるのにも熟練しています。これは、人間のオペレーターがグラウンドトゥルースを提供する必要がある場合に特に当てはまります。このようなソースは、慎重に照会する必要があります。この作業では、ロボットプラットフォームに搭載されたオブジェクト検出アルゴリズムのオンライン、リアルタイム、ヒューマンインザループトレーニングに関連する好奇心の問題に対処します。ロボットプラットフォームでは、モーションによって被写体の新しいビューが生成されます。人間のユーザーにグラウンドトゥルースを求めるタイミングと移動するタイミングを決定する深層強化学習アプローチを提案します。一連の実験を通じて、エージェントが、訓練されていないアプローチよりも人間のユーザー操作を使用してオブジェクト検出器を訓練するのに少なくとも3倍効果的であり、さまざまな主題や環境に一般化できる動きと要求のポリシーを学習することを示します。
Learning requires both study and curiosity. A good learner is not only good at extracting information from the data given to it, but also skilled at finding the right new information to learn from. This is especially true when a human operator is required to provide the ground truth - such a source should only be queried sparingly. In this work, we address the problem of curiosity as it relates to online, real-time, human-in-the-loop training of an object detection algorithm onboard a robotic platform, one where motion produces new views of the subject. We propose a deep reinforcement learning approach that decides when to ask the human user for ground truth, and when to move. Through a series of experiments, we demonstrate that our agent learns a movement and request policy that is at least 3x more effective at using human user interactions to train an object detector than untrained approaches, and is generalizable to a variety of subjects and environments.