人間の活動をサポートするために、協働ロボットが産業界にますます存在するようになっています。ただし、人間とロボットの共同プロセスをより効果的にするには、対処すべき課題がいくつかあります。協調型ロボット システムは、(1) 協調/支援アクションを予測し、(2) デモンストレーションによって学習し、(3) 共有ワークスペースで安全手順を有効にするために、人間の活動を認識する必要があります。この研究では、動的およびアクティブ ピクセル ビジョン センサー (DAVIS) によってキャプチャされた人間のモーション イベント データからプリミティブ アセンブリ タスクを認識するアクション分類システムを提案します。イベント データのノイズを除去するために、いくつかのフィルターが比較および結合されます。高度なディープ ラーニングとリカレント ネットワークを使用して、イベント データの連続ストリームからタスク パターンを分類し、空間的および時間的特徴を分類します。実験は、5 人の参加者からの代表的な製造プリミティブの 5 つのクラス (PickUp、Place、Screw、Hold、Idle) を特徴とする新しいデータセット、製造タスクのデータセット (DMT22) で実施されました。結果は、提案されたフィルターが記録ごとにすべてのイベント (ノイズ) の約 65% を除去し、システムをトレーニングした被験者で最大 99.37%、新しい被験者で 97.08% の分類精度を達成することを示しています。左利きの被験者からのデータは、右利きのトレーニング データのみを使用して正常に分類されました。これらの結果はオブジェクトに依存しません。
Collaborative robots are increasingly present in industry to support human activities. However, to make the human-robot collaborative process more effective, there are several challenges to be addressed. Collaborative robotic systems need to be aware of the human activities to (1) anticipate collaborative/assistive actions, (2) learn by demonstration, and (3) activate safety procedures in shared workspace. This study proposes an action classification system to recognize primitive assembly tasks from human motion events data captured by a Dynamic and Active-pixel Vision Sensor (DAVIS). Several filters are compared and combined to remove event data noise. Task patterns are classified from a continuous stream of event data using advanced deep learning and recurrent networks to classify spatial and temporal features. Experiments were conducted on a novel dataset, the dataset of manufacturing tasks (DMT22), featuring 5 classes of representative manufacturing primitives (PickUp, Place, Screw, Hold, Idle) from 5 participants. Results show that the proposed filters remove about 65% of all events (noise) per recording, conducting to a classification accuracy up to 99,37% for subjects that trained the system and 97.08% for new subjects. Data from a left-handed subject were successfully classified using only right-handed training data. These results are object independent.