arXiv reaDer
Sign Language Recognition Analysis using Multimodal Data
  音声制御のパーソナルアシスタントおよびホームアシスタント(Amazon EchoやApple Siriなど)は、さまざまなアプリケーションでますます人気が高まっています。ただし、これらのテクノロジーの利点は、聴覚障害者や難聴者(DHH)のユーザーには容易にアクセスできません。この研究の目的は、DHH署名者が音声制御デバイスと対話するために使用できる複数のモダリティを使用して、標識認識システムを開発および評価することです。深度センサーの進歩により、骨格データはビデオ分析やアクティビティ認識などのアプリケーションに使用されます。よく研究されている人間の活動認識と類似しているにもかかわらず、手話認識での3Dスケルトンデータの使用はまれです。これは、アクティビティ認識とは異なり、手話はほとんど手の形のパターンに依存しているためです。この作業では、さまざまなディープラーニングアーキテクチャの組み合わせを使用して、手話認識のために骨格およびRGBビデオデータを使用する可能性を調査します。 12人のユーザーと51の標識にわたる13107個のサンプルの大規模なアメリカ手話(ASL)データセットで結果を検証します。 GMUASL51という名前です。データセットを6か月にわたって収集し、デジタルアシスタントのアクセシビリティの向上に向けた機械学習の研究をさらに促進することを期待して、公開します。
Voice-controlled personal and home assistants (such as the Amazon Echo and Apple Siri) are becoming increasingly popular for a variety of applications. However, the benefits of these technologies are not readily accessible to Deaf or Hard-ofHearing (DHH) users. The objective of this study is to develop and evaluate a sign recognition system using multiple modalities that can be used by DHH signers to interact with voice-controlled devices. With the advancement of depth sensors, skeletal data is used for applications like video analysis and activity recognition. Despite having similarity with the well-studied human activity recognition, the use of 3D skeleton data in sign language recognition is rare. This is because unlike activity recognition, sign language is mostly dependent on hand shape pattern. In this work, we investigate the feasibility of using skeletal and RGB video data for sign language recognition using a combination of different deep learning architectures. We validate our results on a large-scale American Sign Language (ASL) dataset of 12 users and 13107 samples across 51 signs. It is named as GMUASL51. We collected the dataset over 6 months and it will be publicly released in the hope of spurring further machine learning research towards providing improved accessibility for digital assistants.
updated: Tue Sep 24 2019 23:44:49 GMT+0000 (UTC)
published: Tue Sep 24 2019 23:44:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト