新しいロボットで視覚運動ロボットコントローラーを最初からトレーニングするには、通常、ロボット固有のデータを大量に生成する必要があります。以前に別のロボットで収集したデータを活用して、ロボット固有のデータの必要性を減らすか、完全になくすことができますか?これを実現するために、固有受容感覚、運動学、カメラキャリブレーションなど、すぐに利用できるロボットの「自己認識」を活用する「ロボット対応」ソリューションパラダイムを提案します。最初に、転送可能なロボットにとらわれないワールドダイナミクスモジュールとロボット固有の分析ロボットダイナミクスモジュールを組み合わせたモジュラーダイナミクスモデルを学習します。次に、ロボット自身と世界を区別する視覚的な計画コストを設定します。シミュレーションおよび実際のロボットでの卓上操作タスクに関する実験では、これらのプラグインの改善により、視覚運動コントローラーの転送可能性が劇的に向上し、新しいロボットへのゼロショット転送が初めて可能になることが示されています。プロジェクトのウェブサイト:https://hueds.github.io/rac/
Training visuomotor robot controllers from scratch on a new robot typically requires generating large amounts of robot-specific data. Could we leverage data previously collected on another robot to reduce or even completely remove this need for robot-specific data? We propose a "robot-aware" solution paradigm that exploits readily available robot "self-knowledge" such as proprioception, kinematics, and camera calibration to achieve this. First, we learn modular dynamics models that pair a transferable, robot-agnostic world dynamics module with a robot-specific, analytical robot dynamics module. Next, we set up visual planning costs that draw a distinction between the robot self and the world. Our experiments on tabletop manipulation tasks in simulation and on real robots demonstrate that these plug-in improvements dramatically boost the transferability of visuomotor controllers, even permitting zero-shot transfer onto new robots for the very first time. Project website: https://hueds.github.io/rac/