私たちは、ロボットが追加のセンシングモダリティ(対象者の3D慣性測定)を利用して対象者を視覚的に特定できるようにすることを目指しています。そのような技術の必要性は、ロボットが初めて群集の中で人に会う場合や、事前に人の外観を知らずに自律車両が群集の中でライダーとランデブーする必要がある場合に発生する可能性があります。人の慣性情報は、スマートフォンなどのウェアラブルデバイスで測定でき、ランデブー中に自律システムと選択的に共有できます。ビデオ内の人物の動きを、ウェアラブル慣性測定ユニット(IMU)によって測定された動きに簡単に一致させることができる視覚慣性特徴空間を学習する方法を提案します。 2つのモダリティのジョイントフィーチャ空間への変換は、同一人物が生成した慣性モーションフィーチャとビデオモーションフィーチャをジョイントフィーチャスペース内に近接させるコントラスト損失の使用を通じて学習されます。私たちのアプローチを検証するために、ウェアラブルIMUデータとともに、動く人々の60,000以上のビデオセグメントのデータセットを作成します。私たちの実験は、提案された方法が、わずか5秒のIMUデータとビデオを使用して、80.7%の精度で対象者を正確に特定できることを示しています。
We aim to enable robots to visually localize a target person through the aid of an additional sensing modality -- the target person's 3D inertial measurements. The need for such technology may arise when a robot is to meet person in a crowd for the first time or when an autonomous vehicle must rendezvous with a rider amongst a crowd without knowing the appearance of the person in advance. A person's inertial information can be measured with a wearable device such as a smart-phone and can be shared selectively with an autonomous system during the rendezvous. We propose a method to learn a visual-inertial feature space in which the motion of a person in video can be easily matched to the motion measured by a wearable inertial measurement unit (IMU). The transformation of the two modalities into the joint feature space is learned through the use of a contrastive loss which forces inertial motion features and video motion features generated by the same person to lie close in the joint feature space. To validate our approach, we compose a dataset of over 60,000 video segments of moving people along with wearable IMU data. Our experiments show that our proposed method is able to accurately localize a target person with 80.7% accuracy using only 5 seconds of IMU data and video.