この論文では、手動タスクのビデオ デモンストレーション内の相互作用と活動の両方を認識するために、オブジェクトと手の間の時空間的関係を記述する新しい方法を提示します。このアプローチでは、シーン グラフを活用して、画像シーケンスから主要なインタラクション機能を抽出し、同時にモーション パターンとコンテキストをエンコードします。さらに、この方法では、イベントベースの自動ビデオ セグメンテーションとクラスタリングが導入されます。これにより、同様のイベントをグループ化し、監視対象のアクティビティが正しく実行されているかどうかをその場で検出することもできます。このアプローチの有効性は、2 つの多被験者実験で実証され、アクティビティの事前知識がなくても、手とオブジェクト、およびオブジェクトとオブジェクトの相互作用を認識してクラスタリングする能力、および異なる被験者が実行した同じアクティビティを照合する能力が示されました。
This paper presents a new method to describe spatio-temporal relations between objects and hands, to recognize both interactions and activities within video demonstrations of manual tasks. The approach exploits Scene Graphs to extract key interaction features from image sequences, encoding at the same time motion patterns and context. Additionally, the method introduces an event-based automatic video segmentation and clustering, which allows to group similar events, detecting also on the fly if a monitored activity is executed correctly. The effectiveness of the approach was demonstrated in two multi-subject experiments, showing the ability to recognize and cluster hand-object and object-object interactions without prior knowledge of the activity, as well as matching the same activity performed by different subjects.