手の行動認識は、人間とロボットの相互作用、仮想現実、またはライフログシステムでのアプリケーションを使用した行動認識の特殊なケースです。このような異種のアクションドメインで機能するアクション分類子を構築することは非常に困難です。特定のアプリケーションのさまざまなアクション間で非常に微妙な変化がありますが、ドメイン間でも大きな変化があります(たとえば、仮想現実とライフログ)。この作品は、この問題に取り組む新しいスケルトンベースの手の動き表現モデルを紹介します。私たちが提案するフレームワークは、アプリケーションドメインやカメラ録画の観点に依存しません。単一ドメイン(ドメイン内アクション分類)で作業する場合、私たちのアプローチは、よく知られている手のアクション認識ベンチマークで、現在の最先端の方法よりも優れているか、類似しています。そして、さらに重要なことに、私たちのアプローチが訓練されていないアクションドメインとカメラの視点に対して手のアクション認識を実行する場合(クロスドメインアクション分類)、提案されたフレームワークは、ドメイン内の最先端の方法と同等のパフォーマンスを達成します。これらの実験は、フレームワークの堅牢性と一般化機能を示しています。
Hand action recognition is a special case of action recognition with applications in human-robot interaction, virtual reality or life-logging systems. Building action classifiers able to work for such heterogeneous action domains is very challenging. There are very subtle changes across different actions from a given application but also large variations across domains (e.g. virtual reality vs life-logging). This work introduces a novel skeleton-based hand motion representation model that tackles this problem. The framework we propose is agnostic to the application domain or camera recording view-point. When working on a single domain (intra-domain action classification) our approach performs better or similar to current state-of-the-art methods on well-known hand action recognition benchmarks. And, more importantly, when performing hand action recognition for action domains and camera perspectives which our approach has not been trained for (cross-domain action classification), our proposed framework achieves comparable performance to intra-domain state-of-the-art methods. These experiments show the robustness and generalization capabilities of our framework.