物理的な物体の内部計算モデルは、ロボットと動物が同様に行動を計画および制御する能力の基本です。これらの「自己モデル」により、ロボットは、物理的な現実でそれらを試すことなく、複数の可能な将来のアクションの結果を検討することができます。完全にデータ駆動型のセルフモデリングの最近の進歩により、マシンはタスクに依存しない相互作用データから直接、独自の順運動学を学習できるようになりました。ただし、フォワードキネマチックモデルでは、エンドエフェクタの位置や関節や質量の速度など、形態の限られた側面しか予測できません。重要な課題は、形態のどの側面が将来のタスクに関連するかについての事前の知識なしに、形態全体と運動学をモデル化することです。ここでは、順運動学を直接モデリングする代わりに、ロボットの状態を条件として、スペース占有クエリに答えることができるセルフモデリングのより有用な形式を提案します。このようなクエリ駆動型の自己モデルは、空間領域で連続的であり、メモリ効率が高く、完全に微分可能で、運動学的に認識されます。物理実験では、視覚的な自己モデルがワークスペースの約1%まで正確であり、ロボットがさまざまな動作計画と制御タスクを実行できることを示します。視覚的なセルフモデリングにより、ロボットは実際の損傷を検出、特定、回復できるため、機械の弾力性が向上します。私たちのプロジェクトのウェブサイトは次のとおりです:https://robot-morphology.cs.columbia.edu/
Internal computational models of physical bodies are fundamental to the ability of robots and animals alike to plan and control their actions. These "self-models" allow robots to consider outcomes of multiple possible future actions, without trying them out in physical reality. Recent progress in fully data-driven self-modeling has enabled machines to learn their own forward kinematics directly from task-agnostic interaction data. However, forward-kinema\-tics models can only predict limited aspects of the morphology, such as the position of end effectors or velocity of joints and masses. A key challenge is to model the entire morphology and kinematics, without prior knowledge of what aspects of the morphology will be relevant to future tasks. Here, we propose that instead of directly modeling forward-kinematics, a more useful form of self-modeling is one that could answer space occupancy queries, conditioned on the robot's state. Such query-driven self models are continuous in the spatial domain, memory efficient, fully differentiable and kinematic aware. In physical experiments, we demonstrate how a visual self-model is accurate to about one percent of the workspace, enabling the robot to perform various motion planning and control tasks. Visual self-modeling can also allow the robot to detect, localize and recover from real-world damage, leading to improved machine resiliency. Our project website is at: https://robot-morphology.cs.columbia.edu/