これらの戦略には一連の操作をスムーズに実行するために必要な暗黙知が含まれているため、人間の把握戦略を認識することは、ロボット教育における重要な要素です。この研究では、畳み込みニューラルネットワーク(CNN)ベースの把握タイプ認識に対するオブジェクトアフォーダンス(各オブジェクトの把握タイプの事前分布)の影響を分析しました。この目的のために、把握タイプとオブジェクト名でラベル付けされた一人称把握手の画像のデータセットを作成し、オブジェクトのアフォーダンスを活用する認識パイプラインをテストしました。視覚オブジェクト情報の欠如がCNN認識を困難にする可能性がある複合現実での教育条件を検討するために、実際のオブジェクトと幻想的なオブジェクトを把握するシナリオを評価しました。結果は、オブジェクトのアフォーダンスが両方のシナリオでCNNを導き、1)候補から可能性の低い把握タイプを除外し、2)可能性のある把握タイプを強化することで精度を向上させたことを示しています。さらに、「強化効果」は、高度な把握タイプの不均一性でより顕著でした。これらの結果は、ロボット教育アプリケーションで把握タイプの認識を導くためのオブジェクトアフォーダンスの有効性を示しています。
Recognizing human grasping strategies is an important factor in robot teaching as these strategies contain the implicit knowledge necessary to perform a series of manipulations smoothly. This study analyzed the effects of object affordance-a prior distribution of grasp types for each object-on convolutional neural network (CNN)-based grasp-type recognition. To this end, we created datasets of first-person grasping-hand images labeled with grasp types and object names, and tested a recognition pipeline leveraging object affordance. We evaluated scenarios with real and illusory objects to be grasped, to consider a teaching condition in mixed reality where the lack of visual object information can make the CNN recognition challenging. The results show that object affordance guided the CNN in both scenarios, increasing the accuracy by 1) excluding unlikely grasp types from the candidates and 2) enhancing likely grasp types. In addition, the "enhancing effect" was more pronounced with high degrees of grasp-type heterogeneity. These results indicate the effectiveness of object affordance for guiding grasp-type recognition in robot teaching applications.