この論文では、視覚のみを介して人間の指先によって加えられる3D触覚力をリアルタイムで推定するための新しいアプローチを紹介しました。導入されたアプローチは完全に単眼視覚ベースであり、物理的な力センサーを必要としません。したがって、スケーラブルで邪魔にならず、体の姿勢推定などの他の知覚システムと簡単に融合できるため、力の検出が必要なHRIアプリケーションに最適です。導入されたアプローチは、3つの主要なモジュールで構成されています。個々の指を検出および追跡するための指追跡、画像内の空間情報を保存するための画像位置合わせ、および画像内の着色パターンから3D力を推定するための力モデルです。モデルは実験的に実装されており、結果は3つの方向すべてに沿って8.4%の最大RMSエラー(力レベルの全範囲で)を示しています。推定精度は、EigneNailなどの文献のオフラインモデルに匹敵しますが、このモデルは毎秒30フレームで力の推定を実行できます。
This paper has introduced a novel approach for the real-time estimation of 3D tactile forces exerted by human fingertips via vision only. The introduced approach is entirely monocular vision-based and does not require any physical force sensor. Therefore, it is scalable, non-intrusive, and easily fused with other perception systems such as body pose estimation, making it ideal for HRI applications where force sensing is necessary. The introduced approach consists of three main modules: finger tracking for detection and tracking of each individual finger, image alignment for preserving the spatial information in the images, and the force model for estimating the 3D forces from coloration patterns in the images. The model has been implemented experimentally, and the results have shown a maximum RMS error of 8.4% (for the entire range of force levels) along all three directions. The estimation accuracy is comparable to the offline models in the literature, such as EigneNail, while, this model is capable of performing force estimation at 30 frames per second.