物理オブジェクトを仮想世界にデジタル化することで、具体化されたAIと複合現実の新しい研究とアプリケーションのロックを解除できる可能性があります。この作業は、仮想環境に直接インポートできる、実世界の関節オブジェクトのインタラクティブなデジタルツインの再現に焦点を当てています。 Dittoを紹介し、インタラクティブな知覚を通じて、アーティキュレーションモデルの推定とアーティキュレートされたオブジェクトの3Dジオメトリの再構築を学習します。相互作用の前後の関節のあるオブジェクトの視覚的観察のペアが与えられると、Dittoはパーツレベルのジオメトリを再構築し、オブジェクトの関節モデルを推定します。関節の幾何学とアーティキュレーションモデリングに暗黙の神経表現を採用しています。私たちの実験は、Dittoがカテゴリにとらわれない方法で関節オブジェクトのデジタルツインを効果的に構築することを示しています。また、Dittoを実際のオブジェクトに適用し、再作成されたデジタルツインを物理シミュレーションで展開します。コードと追加の結果はhttps://ut-austin-rpl.github.io/Dittoで入手できます。
Digitizing physical objects into the virtual world has the potential to unlock new research and applications in embodied AI and mixed reality. This work focuses on recreating interactive digital twins of real-world articulated objects, which can be directly imported into virtual environments. We introduce Ditto to learn articulation model estimation and 3D geometry reconstruction of an articulated object through interactive perception. Given a pair of visual observations of an articulated object before and after interaction, Ditto reconstructs part-level geometry and estimates the articulation model of the object. We employ implicit neural representations for joint geometry and articulation modeling. Our experiments show that Ditto effectively builds digital twins of articulated objects in a category-agnostic way. We also apply Ditto to real-world objects and deploy the recreated digital twins in physical simulation. Code and additional results are available at https://ut-austin-rpl.github.io/Ditto