手の行動認識は、人間のロボットの相互作用、仮想現実、またはライフログシステムでのアプリケーションを使用した人間の行動認識の特殊なケースです。このような異種の一連のアクティビティを認識するのに役立つアクション分類子を構築することは非常に困難です。特定のアプリケーションのさまざまなアクション間で非常に微妙な変化がありますが、ドメイン間でも大きな変化があります(たとえば、仮想現実とライフログ)。この作品は、この問題に取り組む新しいスケルトンベースの手の動きの表現モデルを紹介します。私たちが提案するフレームワークは、アプリケーションドメインやカメラ録画の観点に依存しません。提案されたモーション表現モデルのパフォーマンスを、単一の特定のドメイン(ドメイン内アクション分類)と異なる非表示ドメイン(クロスドメインアクション分類)の両方で機能することを示します。ドメイン内の場合、私たちのアプローチは、よく知られている手の行動認識ベンチマークでの現在の最先端の方法よりも優れた、または同様のパフォーマンスを実現します。また、クロスドメインの手の行動認識を実行する場合(つまり、正面ビューの記録でモーション表現モデルをトレーニングし、自己中心的ビューと第三者ビューの両方でテストする場合)、私たちのアプローチは最先端の方法と同等の結果を達成します。ドメイン内でトレーニングされています。
Hand action recognition is a special case of human action recognition with applications in human robot interaction, virtual reality or life-logging systems. Building action classifiers that are useful to recognize such heterogeneous set of activities is very challenging. There are very subtle changes across different actions from a given application but also large variations across domains (e.g. virtual reality vs life-logging). This work introduces a novel skeleton-based hand motion representation model that tackles this problem. The framework we propose is agnostic to the application domain or camera recording view-point. We demonstrate the performance of our proposed motion representation model both working for a single specific domain (intra-domain action classification) and working for different unseen domains (cross-domain action classification). For the intra-domain case, our approach gets better or similar performance than current state-of-the-art methods on well-known hand action recognition benchmarks. And when performing cross-domain hand action recognition (i.e., training our motion representation model in frontal-view recordings and testing it both for egocentric and third-person views), our approach achieves comparable results to the state-of-the-art methods that are trained intra-domain.