既存の精神物理学的研究は、クロスモーダル視覚-触覚が日常の活動を行う人間に一般的であることを明らかにしました。ただし、あるモダリティ空間から別のモダリティ空間へのアルゴリズムマッピング、つまり、ロボット操作にとって潜在的に重要となる可能性のあるクロスモーダル視覚触覚データの変換/生成を構築することは依然として困難です。この論文では、生成的敵対的ネットワーク(GAN)のフレームワークを活用することにより、クロスモーダル視覚触覚データ生成のための深層学習ベースのアプローチを提案します。私たちのアプローチは、視覚データとして材料表面の視覚画像を取り、触覚データとして表面上のペンスライド運動によって誘発された加速度計信号を取ります。条件付きGAN(cGAN)構造を残差融合(RF)モジュールと一緒に採用し、追加の特徴マッチング(FM)と知覚損失を使用してモデルをトレーニングし、クロスモーダルデータ生成を実現します。実験結果は、RFモジュール、FM、および知覚損失を含めることで、生成されたデータの分類精度と、グラウンドトゥルースと生成されたデータの視覚的な類似性の観点から、クロスモーダルデータ生成のパフォーマンスが大幅に向上することを示しています。 。
Existing psychophysical studies have revealed that the cross-modal visual-tactile perception is common for humans performing daily activities. However, it is still challenging to build the algorithmic mapping from one modality space to another, namely the cross-modal visual-tactile data translation/generation, which could be potentially important for robotic operation. In this paper, we propose a deep-learning-based approach for cross-modal visual-tactile data generation by leveraging the framework of the generative adversarial networks (GANs). Our approach takes the visual image of a material surface as the visual data, and the accelerometer signal induced by the pen-sliding movement on the surface as the tactile data. We adopt the conditional-GAN (cGAN) structure together with the residue-fusion (RF) module, and train the model with the additional feature-matching (FM) and perceptual losses to achieve the cross-modal data generation. The experimental results show that the inclusion of the RF module, and the FM and the perceptual losses significantly improves cross-modal data generation performance in terms of the classification accuracy upon the generated data and the visual similarity between the ground-truth and the generated data.