視覚ベースの手話認識は、ろう者が他の人とコミュニケーションをとることを支援することを目的としています。ただし、ほとんどの既存の手話データセットは少数の単語に制限されています。語彙サイズが限られているため、これらのデータセットから学習したモデルは実際には適用できません。このホワイトペーパーでは、100を超える署名者によって実行された2000以上の単語を含む、新しい大規模なWordレベルのアメリカ手話(WLASL)ビデオデータセットを紹介します。このデータセットは、研究コミュニティに公開されます。私たちの知る限り、単語レベルのサイン認識研究を促進するために、これは圧倒的に最大の公開ASLデータセットです。この新しい大規模データセットに基づいて、単語レベルのサイン認識のためのいくつかの深層学習方法を実験し、大規模シナリオでのパフォーマンスを評価することができます。具体的には、2つの異なるモデルを実装して比較します。つまり、(i)全体的な視覚的外観に基づくアプローチと、(ii)2D人間のポーズに基づくアプローチです。両方のモデルは、メソッドベンチマークのためにコミュニティに役立つ貴重なベースラインです。さらに、人間のポーズ軌跡の空間的および時間的依存性を同時にモデル化する新しいポーズベースの時間グラフ畳み込みネットワーク(ポーズ-TGCN)も提案します。これにより、ポーズベースの方法のパフォーマンスがさらに向上しました。結果は、ポーズベースと外観ベースのモデルが、2,000ワード/グロスでトップ10の精度で最大66%の同等のパフォーマンスを達成することを示しており、データセットの有効性と課題を示しています。データセットとベースラインの深いモデルは、https://dxli94.github.io/WLASL/で入手できます。
Vision-based sign language recognition aims at helping deaf people to communicate with others. However, most existing sign language datasets are limited to a small number of words. Due to the limited vocabulary size, models learned from those datasets cannot be applied in practice. In this paper, we introduce a new large-scale Word-Level American Sign Language (WLASL) video dataset, containing more than 2000 words performed by over 100 signers. This dataset will be made publicly available to the research community. To our knowledge, it is by far the largest public ASL dataset to facilitate word-level sign recognition research. Based on this new large-scale dataset, we are able to experiment with several deep learning methods for word-level sign recognition and evaluate their performances in large scale scenarios. Specifically we implement and compare two different models,i.e., (i) holistic visual appearance-based approach, and (ii) 2D human pose based approach. Both models are valuable baselines that will benefit the community for method benchmarking. Moreover, we also propose a novel pose-based temporal graph convolution networks (Pose-TGCN) that models spatial and temporal dependencies in human pose trajectories simultaneously, which has further boosted the performance of the pose-based method. Our results show that pose-based and appearance-based models achieve comparable performances up to 66% at top-10 accuracy on 2,000 words/glosses, demonstrating the validity and challenges of our dataset. Our dataset and baseline deep models are available at https://dxli94.github.io/WLASL/.