スケルトンデータは貴重な動き情報を運び、人間の行動認識で広く探求されています。しかし、動き情報だけでなく、環境との相互作用も、人の行動を認識するための識別的な手がかりを提供します。本論文では、骨格データに基づく相互支援「相互作用物体位置特定」と「人間行動認識」のための共同学習フレームワークを提案する。 2つのタスクは一緒にシリアル化され、相互に促進するために連携します。スケルトンのみから派生した予備アクションタイプは、相互作用するオブジェクトのローカリゼーションを改善するのに役立ち、最終的な人間のアクション認識に貴重な手がかりを提供します。さらに、グラウンドトゥルースラベルがない場合に相互作用するオブジェクトをより適切にローカライズするための制約として、相互作用するオブジェクトの時間的一貫性を調査します。 SYSU-3D、NTU60 RGB + D、Northwestern-UCLA、UAV-Humanのデータセットに関する広範な実験により、私たちの方法は、人間の行動認識のための最先端の方法で最高または競争力のあるパフォーマンスを達成することが示されています。視覚化の結果は、私たちの方法が合理的な相互作用オブジェクトのローカリゼーション結果も提供できることを示しています。
Skeleton data carries valuable motion information and is widely explored in human action recognition. However, not only the motion information but also the interaction with the environment provides discriminative cues to recognize the action of persons. In this paper, we propose a joint learning framework for mutually assisted "interacted object localization" and "human action recognition" based on skeleton data. The two tasks are serialized together and collaborate to promote each other, where preliminary action type derived from skeleton alone helps improve interacted object localization, which in turn provides valuable cues for the final human action recognition. Besides, we explore the temporal consistency of interacted object as constraint to better localize the interacted object with the absence of ground-truth labels. Extensive experiments on the datasets of SYSU-3D, NTU60 RGB+D, Northwestern-UCLA and UAV-Human show that our method achieves the best or competitive performance with the state-of-the-art methods for human action recognition. Visualization results show that our method can also provide reasonable interacted object localization results.