arXiv reaDer
Active 3D Shape Reconstruction from Vision and Touch
人間は、視覚と触覚を共同で使用して、アクティブオブジェクトの探索を通じて世界の3D理解を構築します。ただし、3D形状再構成では、最近の進歩は、RGB画像、深度マップ、触覚読み取りなどの限られた感覚データの静的データセットに依存しており、形状の積極的な探索はほとんど未踏のままです。 3D再構成のためのアクティブタッチセンシングの目標は、形状再構成の精度を最大化する触覚読み取り値をアクティブに選択することです。ただし、ディープラーニングベースのアクティブタッチモデルの開発は、形状探索のフレームワークがないために大きく制限されています。この論文では、この問題に焦点を当て、次のシステムで構成されるシステムを紹介します。1)3Dオブジェクトにアクティブに触れるために高空間分解能の視覚ベースの触覚センサーを活用する触覚シミュレータ。 2)触覚または視覚触覚信号に依存するメッシュベースの3D形状再構成モデル。 3)形状探索をガイドするための触覚または視覚触覚の事前分布を備えた一連のデータ駆動型ソリューション。私たちのフレームワークは、オブジェクトを理解するために学習したモデルに加えてアクティブなタッチを行う最初の完全なデータ駆動型ソリューションの開発を可能にします。私たちの実験は、私たちのモデルが一貫して自然のベースラインを上回っている3D形状理解のタスクにおけるそのようなソリューションの利点を示しています。私たちは、この方向で将来の研究を促進するためのツールとしてフレームワークを提供します。
Humans build 3D understandings of the world through active object exploration, using jointly their senses of vision and touch. However, in 3D shape reconstruction, most recent progress has relied on static datasets of limited sensory data such as RGB images, depth maps or haptic readings, leaving the active exploration of the shape largely unexplored. In active touch sensing for 3D reconstruction, the goal is to actively select the tactile readings that maximize the improvement in shape reconstruction accuracy. However, the development of deep learning-based active touch models is largely limited by the lack of frameworks for shape exploration. In this paper, we focus on this problem and introduce a system composed of: 1) a haptic simulator leveraging high spatial resolution vision-based tactile sensors for active touching of 3D objects; 2) a mesh-based 3D shape reconstruction model that relies on tactile or visuotactile signals; and 3) a set of data-driven solutions with either tactile or visuotactile priors to guide the shape exploration. Our framework enables the development of the first fully data-driven solutions to active touch on top of learned models for object understanding. Our experiments show the benefits of such solutions in the task of 3D shape understanding where our models consistently outperform natural baselines. We provide our framework as a tool to foster future research in this direction.
updated: Tue Jul 20 2021 15:56:52 GMT+0000 (UTC)
published: Tue Jul 20 2021 15:56:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト