arXiv reaDer
人間とロボットの協調のための視線ベースの注意認識
Gaze-based Attention Recognition for Human-Robot Collaboration
注意 (および気晴らし) の認識は、人間とロボットのコラボレーションを改善する上で重要な要素です。人間のオペレーターとコボットが平等に協力してギアボックスを組み立てる組み立てシナリオを紹介します。この設定により、オペレータの注意に応じてコボットの動作を適応させる複数の機会が提供されます。これにより、コラボレーション エクスペリエンスが向上し、心理的負担が軽減されます。最初のステップとして、人間のオペレーターが注意を払っているワークスペース内の領域を認識し、その結果、オペレーターが気を散らしていることを検出します。注意認識モデルを開発するための新しい深層学習アプローチを提案します。まず、畳み込みニューラル ネットワークをトレーニングして、公開されている画像データセットを使用して視線方向を推定します。次に、小さなデータセットで転移学習を使用して、視線方向を事前に定義された関心領域にマッピングします。このアプローチを使用してトレーニングされたモデルは、小規模なデータセットでの 1 科目除外評価で非常に優れたパフォーマンスを発揮しました。提示されたアセンブリ シナリオでオペレーターとして働く参加者から収集したビデオ スニペットを使用して、モデルの追加の検証を実行しました。この場合、気が散っているクラスの再現率は低くなりましたが、モデルはオペレーターが注意を払った領域を認識するのに優れたパフォーマンスを発揮しました。私たちの知る限り、これは、産業用の人間とロボットのコラボレーションを模倣した設定からのデータを使用して、注意認識モデルを検証した最初の研究です。私たちの調査結果は、このような本格的なガイドなしのシナリオでの注意認識ソリューションの検証の必要性を強調しています。
Attention (and distraction) recognition is a key factor in improving human-robot collaboration. We present an assembly scenario where a human operator and a cobot collaborate equally to piece together a gearbox. The setup provides multiple opportunities for the cobot to adapt its behavior depending on the operator's attention, which can improve the collaboration experience and reduce psychological strain. As a first step, we recognize the areas in the workspace that the human operator is paying attention to, and consequently, detect when the operator is distracted. We propose a novel deep-learning approach to develop an attention recognition model. First, we train a convolutional neural network to estimate the gaze direction using a publicly available image dataset. Then, we use transfer learning with a small dataset to map the gaze direction onto pre-defined areas of interest. Models trained using this approach performed very well in leave-one-subject-out evaluation on the small dataset. We performed an additional validation of our models using the video snippets collected from participants working as an operator in the presented assembly scenario. Although the recall for the Distracted class was lower in this case, the models performed well in recognizing the areas the operator paid attention to. To the best of our knowledge, this is the first work that validated an attention recognition model using data from a setting that mimics industrial human-robot collaboration. Our findings highlight the need for validation of attention recognition solutions in such full-fledged, non-guided scenarios.
updated: Thu Mar 30 2023 11:55:38 GMT+0000 (UTC)
published: Thu Mar 30 2023 11:55:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト