手話は、聴覚障害者や言語障害者がコミュニケーションをとるために使用するものであり、習得するには多大な努力が必要です。手話認識(SLR)は、特定のビデオから単語を認識することにより、手話ユーザーと他のユーザーとの間の架け橋を作ることを目的としています。手話は、手のジェスチャー、体の姿勢、さらには顔の表情の高速で複雑な動きで実行されるため、これは重要でありながら困難な作業です。最近、スケルトンベースの行動認識は、被写体への独立性と背景の変化のためにますます注目を集めています。また、全体的な認識率をさらに高めるために、RGB / Dモダリティを強力に補完します。ただし、SLRに基づくスケルトンは、手のキーポイントに注釈がないため、まだ調査中です。ポーズ推定器を備えた手検出器を使用して手のキーポイントを抽出し、リカレントニューラルネットワークを介して手話を認識することを学ぶためにいくつかの努力がなされてきましたが、RGBベースの方法より優れているものはありません。この目的のために、認識率をさらに向上させるために、ユニバーサルマルチモーダルSLRフレームワーク(Uni-SLR)を備えた全身キーポイントを使用する新しいスケルトンベースのSLRアプローチを提案します。具体的には、埋め込まれた空間関係と動的な動きをモデル化するためのグラフ畳み込みネットワーク(GCN)を提案し、骨格の特徴を活用するための新しい分離可能な時空間畳み込みネットワーク(SSTCN)を提案します。私たちのスケルトンベースの方法は、他のすべての単一モダリティと比較して、より高い認識率を達成します。さらに、提案されたUni-SLRフレームワークは、スケルトンベースの方法を他のRGBおよび深度モダリティと組み合わせることにより、パフォーマンスをさらに向上させることができます。その結果、私たちのUni-SLRフレームワークは、2021年にRGB(98.42%)トラックとRGB-D(98.53%)トラックの両方で最高のパフォーマンスを達成しました。コードはhttps://github.com/jackyjsy/CVPR21Chal-SLRで提供されます。
Sign language is used by deaf or speech impaired people to communicate, and requires great efforts to master. Sign Language Recognition (SLR) aims to make a bridge between sign language users and the others by recognize the word from given videos. It is a important yet challenging task since sign language is performed with fast and complex movement of hand gestures, body posture and even facial expressions. Recently, skeleton based action recognition attracts increasing attention due to the independence on subjects and background variations. It is also a strong complement to RGB/D modalities to further boost the overall recognition rate. However, skeleton based on SLR is still under exploration due to the lack of annotations on hand keypoints. Some efforts have been made to use hand detectors with pose estimator to extract hand keypoints, and learn to recognize sign language via a Recurrent Neural Network, but none of them outperforms RGB based methods. To this end, we propose a novel skeleton based SLR approach using whole-body keypoints with a universal multi-modal SLR framework (Uni-SLR) to further improve the recognition rate. Specifically, we propose a Graph Convolution Network (GCN) to model the embedded spatial relations and dynamic motions, and propose a novel Separable Spatial-Temporal Convolution Network (SSTCN) to exploit skeleton features. Our skeleton based method achieves a higher recognition rate compared with all other single modalities. Moreover, our proposed Uni-SLR framework can further enhance the performance by assembling our skeleton based method with other RGB and depth modalities. As a result, our Uni-SLR framework achieves the highest performance in both RGB (98.42%) and RGB-D (98.53%) tracks in 2021 Looking at People Large Scale Signer Independent Isolated SLR Challenge. Our code will be provided in https://github.com/jackyjsy/CVPR21Chal-SLR.