視覚ベースの自律移動ロボットナビゲーションの模倣学習は、最近研究コミュニティで大きな注目を集めていますが、既存のアプローチでは通常、展開プラットフォームを使用して収集された状態アクションのデモンストレーションが必要です。しかし、これらのデモンストレーション信号を記録するためにプラットフォームを簡単に装備できない場合、またはさらに悪いことに、デモンストレーターがプラットフォームにまったくアクセスできない場合はどうなりますか?そのようなシナリオでも、視覚ベースの自律ナビゲーションの模倣学習は可能ですか?この作業では、答えはイエスであり、観察からの模倣(IfO)の文献からの最近のアイデアを実現して、ロボットがデモンストレーターによって収集された自己中心的なビデオのみを使用してナビゲートすることを学習できるようにすることができると仮定します。視点の不一致の存在。この目的のために、物理的に異なるエージェントから収集された単一のビデオデモンストレーションからナビゲーションポリシーを正常に学習できる新しいアルゴリズム、自律ナビゲーションのための視覚観察のみの模倣学習(VOILA)を導入します。フォトリアリスティックなAirSimシミュレーターでVOILAを評価し、VOILAがエキスパートをうまく模倣するだけでなく、新しい環境に一般化できるナビゲーションポリシーも学習することを示します。さらに、携帯電話のカメラを使用して記録されたビデオを使用して、車輪付きジャッカルロボットが環境内を歩く人間をうまく模倣できることを示すことにより、実際の環境でのVOILAの有効性を示します。
While imitation learning for vision based autonomous mobile robot navigation has recently received a great deal of attention in the research community, existing approaches typically require state action demonstrations that were gathered using the deployment platform. However, what if one cannot easily outfit their platform to record these demonstration signals or worse yet the demonstrator does not have access to the platform at all? Is imitation learning for vision based autonomous navigation even possible in such scenarios? In this work, we hypothesize that the answer is yes and that recent ideas from the Imitation from Observation (IfO) literature can be brought to bear such that a robot can learn to navigate using only ego centric video collected by a demonstrator, even in the presence of viewpoint mismatch. To this end, we introduce a new algorithm, Visual Observation only Imitation Learning for Autonomous navigation (VOILA), that can successfully learn navigation policies from a single video demonstration collected from a physically different agent. We evaluate VOILA in the photorealistic AirSim simulator and show that VOILA not only successfully imitates the expert, but that it also learns navigation policies that can generalize to novel environments. Further, we demonstrate the effectiveness of VOILA in a real world setting by showing that it allows a wheeled Jackal robot to successfully imitate a human walking in an environment using a video recorded using a mobile phone camera.