幼児が新しいおもちゃを提示されたとき、彼らの本能的な行動は、それを手に取り、手と目で同時に検査し、彼らが遊んでいるものを正しく理解するためにその表面をはっきりと検索することです。ここでのどの場合でも、タッチは忠実度の高いローカライズされた情報を提供し、ビジョンは補完的なグローバルコンテキストを提供します。ただし、3D形状の再構築では、視覚と触覚のモダリティの補完的な融合はほとんど未踏のままです。この論文では、この問題を研究し、同様の融合ビジョンとタッチ情報を促進するマルチモーダル形状理解への効果的なチャートベースのアプローチを提示します。そのために、相互作用からシミュレートされたタッチとビジョン信号のデータセットを紹介します。ロボットハンドと多数の3Dオブジェクト。私たちの結果は、(1)視覚信号とタッチ信号の両方を活用することで、単一モダリティのベースラインが一貫して改善されることを示しています。 (2)私たちのアプローチは、代替のモダリティ融合方法よりも優れており、提案されたチャートベースの構造から大きな恩恵を受けています。 (3)提供される把持の数とともに建設品質が向上します。 (4)タッチ情報は、タッチサイトでの再構築を強化するだけでなく、その地域の近隣に外挿します。
When a toddler is presented a new toy, their instinctual behaviour is to pick it upand inspect it with their hand and eyes in tandem, clearly searching over its surface to properly understand what they are playing with. At any instance here, touch provides high fidelity localized information while vision provides complementary global context. However, in 3D shape reconstruction, the complementary fusion of visual and haptic modalities remains largely unexplored. In this paper, we study this problem and present an effective chart-based approach to multi-modal shape understanding which encourages a similar fusion vision and touch information.To do so, we introduce a dataset of simulated touch and vision signals from the interaction between a robotic hand and a large array of 3D objects. Our results show that (1) leveraging both vision and touch signals consistently improves single-modality baselines; (2) our approach outperforms alternative modality fusion methods and strongly benefits from the proposed chart-based structure; (3) there construction quality increases with the number of grasps provided; and (4) the touch information not only enhances the reconstruction at the touch site but also extrapolates to its local neighborhood.