ジェスチャ認識は、複合現実環境、タッチレスパブリックキオスク、エンターテインメントシステムなど、さまざまなアプリケーションシナリオで新しいインタラクションパラダイムを実現するための基本的なツールです。現在、手のジェスチャーの認識は、低コストのトラッカー(Ultraleap)とMRヘッドセット(Hololens、Oculus Quest)によって提供されるソフトウェア、またはビデオ処理ソフトウェアモジュール(Google Mediapipeなど)によって推定される手の骨格のストリームから直接実行できます。スケルトンからのジェスチャとアクションの認識における最近の進歩にもかかわらず、多くのベンチマークが行うように、現在の最先端の技術が、さまざまな異種ジェスチャの認識のための実際のシナリオでどれほどうまく機能できるかは不明です。オンライン認識をテストせず、限られた辞書を使用します。これが、SHREC 2021:Track on Skeleton-based Hand Gesture Recognition in theWildの提案の動機となりました。このコンテストでは、さまざまなタイプと期間を特徴とする異種ジェスチャを使用して、新しいデータセットを作成しました。これらのジェスチャは、オンライン認識シナリオのシーケンス内で見つける必要があります。この論文は、コンテストの結果を提示し、単純なベースライン方法と比較して、挑戦的なタスクに関して4つの研究グループによって提案された手法のパフォーマンスを示しています。
Gesture recognition is a fundamental tool to enable novel interaction paradigms in a variety of application scenarios like Mixed Reality environments, touchless public kiosks, entertainment systems, and more. Recognition of hand gestures can be nowadays performed directly from the stream of hand skeletons estimated by software provided by low-cost trackers (Ultraleap) and MR headsets (Hololens, Oculus Quest) or by video processing software modules (e.g. Google Mediapipe). Despite the recent advancements in gesture and action recognition from skeletons, it is unclear how well the current state-of-the-art techniques can perform in a real-world scenario for the recognition of a wide set of heterogeneous gestures, as many benchmarks do not test online recognition and use limited dictionaries. This motivated the proposal of the SHREC 2021: Track on Skeleton-based Hand Gesture Recognition in the Wild. For this contest, we created a novel dataset with heterogeneous gestures featuring different types and duration. These gestures have to be found inside sequences in an online recognition scenario. This paper presents the result of the contest, showing the performances of the techniques proposed by four research groups on the challenging task compared with a simple baseline method.