関節のあるオブジェクトを操作するには、その運動学的階層を認識する必要があります。つまり、そのパーツ、それぞれがどのように動くことができるか、そしてそれらのモーションがどのように結合されるかです。以前の研究では、運動学の知覚を探求してきましたが、スキーマやテンプレートに依存せずに、これまでに見たことのないオブジェクトインスタンスの完全な運動学階層を推測するものはありません。この目標を達成する新しい知覚システムを提示します。私たちのシステムは、オブジェクトの可動部分とそれらに関連する運動学的結合を推測します。パーツを推測するには、ポイントクラウドインスタンスセグメンテーションニューラルネットワークを使用し、運動学的階層を推測するには、グラフニューラルネットワークを使用して、推測されたパーツに関連するエッジ(つまり、ジョイント)の存在、方向、およびタイプを予測します。合成3Dモデルのシミュレートされたスキャンを使用してこれらのネットワークをトレーニングします.3Dオブジェクトのシミュレートされたスキャンでシステムを評価し、実際のロボット操作を駆動するためのシステムの概念実証の使用を示します。
Manipulating an articulated object requires perceiving itskinematic hierarchy: its parts, how each can move, and howthose motions are coupled. Previous work has explored per-ception for kinematics, but none infers a complete kinematichierarchy on never-before-seen object instances, without relyingon a schema or template. We present a novel perception systemthat achieves this goal. Our system infers the moving parts ofan object and the kinematic couplings that relate them. Toinfer parts, it uses a point cloud instance segmentation neuralnetwork and to infer kinematic hierarchies, it uses a graphneural network to predict the existence, direction, and typeof edges (i.e. joints) that relate the inferred parts. We trainthese networks using simulated scans of synthetic 3D models.We evaluate our system on simulated scans of 3D objects, andwe demonstrate a proof-of-concept use of our system to drivereal-world robotic manipulation.