視覚入力と触覚センシングの間の接続は、把握や押しなどのオブジェクト操作タスクにとって重要です。この作品では、視覚情報から触覚の物理的特性のセットを推定するという難しいタスクを紹介します。私たちは視覚情報と触覚の物理的特性の間の複雑なマッピングを学習するモデルを構築することを目指しています。 400以上のマルチビュー画像シーケンスと対応する触覚プロパティを使用して、この種の最初の画像触覚データセットを構築します。摩擦、コンプライアンス、接着、テクスチャー、熱コンダクタンスなど、カテゴリ全体で合計15の触覚物性が測定され、モデルによって推定されます。敵対的な目的と斬新な視覚触覚関節分類損失で構成されるクロスモーダルフレームワークを開発します。さらに、特定の物理的特性を推定するための視野角の最適な組み合わせを選択できるニューラルアーキテクチャ検索フレームワークを開発します。
The connection between visual input and tactile sensing is critical for object manipulation tasks such as grasping and pushing. In this work, we introduce the challenging task of estimating a set of tactile physical properties from visual information. We aim to build a model that learns the complex mapping between visual information and tactile physical properties. We construct a first of its kind image-tactile dataset with over 400 multiview image sequences and the corresponding tactile properties. A total of fifteen tactile physical properties across categories including friction, compliance, adhesion, texture, and thermal conductance are measured and then estimated by our models. We develop a cross-modal framework comprised of an adversarial objective and a novel visuo-tactile joint classification loss. Additionally, we develop a neural architecture search framework capable of selecting optimal combinations of viewing angles for estimating a given physical property.