関節のあるものは日常生活に豊富にあります。ロボットがこれらのオブジェクトと相互作用するためには、それらのパーツ、関節、および運動学を発見することが重要です。一連の推測された相互作用を介して、見えない関節オブジェクトの3Dパーツジオメトリとジョイントパラメータを検出するフレームワークであるStructure from Action(SfA)を紹介します。私たちの重要な洞察は、特にトレーニング中に見られないカテゴリの場合、3Dの相互作用と知覚を組み合わせて3D関節式CADモデルを構築することを検討する必要があるということです。有益な相互作用を選択することにより、SfAは部品を発見し、閉じた引き出しの内側のように、最初に隠れていた表面を明らかにします。 SfAは、視覚的な観察結果を3Dで集約することにより、複数のパーツを正確にセグメント化し、パーツジオメトリを再構築し、正準座標フレーム内のすべてのジョイントパラメータを推測します。私たちの実験は、シミュレーションで訓練された単一のSfAモデルが、未知の運動学的構造を持つ多くの目に見えないオブジェクトカテゴリと実世界のオブジェクトに一般化できることを示しています。コードとデータは公開されます。
Articulated objects are abundant in daily life. Discovering their parts, joints, and kinematics is crucial for robots to interact with these objects. We introduce Structure from Action (SfA), a framework that discovers the 3D part geometry and joint parameters of unseen articulated objects via a sequence of inferred interactions. Our key insight is that 3D interaction and perception should be considered in conjunction to construct 3D articulated CAD models, especially in the case of categories not seen during training. By selecting informative interactions, SfA discovers parts and reveals initially occluded surfaces, like the inside of a closed drawer. By aggregating visual observations in 3D, SfA accurately segments multiple parts, reconstructs part geometry, and infers all joint parameters in a canonical coordinate frame. Our experiments demonstrate that a single SfA model trained in simulation can generalize to many unseen object categories with unknown kinematic structures and to real-world objects. Code and data will be publicly available.