手話は、聴覚障害者や言語障害者が互いにコミュニケーションをとるために使用する視覚言語です。手話は常に手のジェスチャーと体の姿勢の速い移行によって実行され、それを理解するために多くの知識と訓練を必要とします。手話認識は、コンピュータービジョンにおいて有用でありながら挑戦的なタスクになります。スケルトンベースの行動認識は、最先端のパフォーマンスを達成するためにRGB-Dベースの方法とさらに組み合わせることができるという人気が高まっています。ただし、主にスケルトンデータには手のジェスチャーや顔の表情の表示が含まれていないため、スケルトンベースの認識を手話認識タスクに適用することはほとんどできません。最近の全身姿勢推定jin2020wholeの開発に着想を得て、全身の要点や特徴に基づいて手話を認識することを提案します。認識結果は、精度をさらに向上させるために、RGBおよびオプティカルフローの他のモダリティとさらにアンサンブルされます。新しい大規模なマルチモーダルトルコ手話データセット(AUTSL)を使用して、ChaLearnがホストする孤立した手話認識に関する課題。私たちの方法は、開発段階とテスト段階の両方で最高の精度を達成しました。この原稿はファクトシート版です。私たちのワークショップペーパーバージョンはまもなくリリースされます。私たちのコードはhttps://github.com/jackyjsy/CVPR21Chal-SLRで利用可能になっています
Sign language is a visual language that is used by deaf or speech impaired people to communicate with each other. Sign language is always performed by fast transitions of hand gestures and body postures, requiring a great amount of knowledge and training to understand it. Sign language recognition becomes a useful yet challenging task in computer vision. Skeleton-based action recognition is becoming popular that it can be further ensembled with RGB-D based method to achieve state-of-the-art performance. However, skeleton-based recognition can hardly be applied to sign language recognition tasks, majorly because skeleton data contains no indication of hand gestures or facial expressions. Inspired by the recent development of whole-body pose estimation jin2020whole, we propose recognizing sign language based on the whole-body key points and features. The recognition results are further ensembled with other modalities of RGB and optical flows to improve the accuracy further. In the challenge about isolated sign language recognition hosted by ChaLearn using a new large-scale multi-modal Turkish Sign Language dataset (AUTSL). Our method achieved leading accuracy in both the development phase and test phase. This manuscript is a fact sheet version. Our workshop paper version will be released soon. Our code has been made available at https://github.com/jackyjsy/CVPR21Chal-SLR