さまざまな感覚モダリティから顕著な情報を抽出およびバインドして、環境内の共通の特徴を判断することは、ロボット工学における重要な課題です。ここでは、MuPNet(Multi-modal Predictive Coding Network)を紹介します。これは、生体模倣移動ロボットから収集した視覚触覚データから共同潜在機能を抽出するための生物学的にもっともらしいネットワークアーキテクチャです。本研究では、シミュレートされた生体模倣ロボットプラットフォームが視覚的にエイリアスされた環境を探索する際に、場所認識に適用されるMuPNetを評価します。 F1スコアは、従来の手作りの感覚的特徴抽出手法を超えるパフォーマンスが、制御された条件下で同等であり、新規環境で動作する場合に大幅に改善されることを示しています。
Extracting and binding salient information from different sensory modalities to determine common features in the environment is a significant challenge in robotics. Here we present MuPNet (Multi-modal Predictive Coding Network), a biologically plausible network architecture for extracting joint latent features from visuo-tactile sensory data gathered from a biomimetic mobile robot. In this study we evaluate MuPNet applied to place recognition as a simulated biomimetic robot platform explores visually aliased environments. The F1 scores demonstrate that its performance over prior hand-crafted sensory feature extraction techniques is equivalent under controlled conditions, with significant improvement when operating in novel environments.