arXiv reaDer
Mediapipe Holistic を使用したインド手話認識
Indian Sign Language Recognition Using Mediapipe Holistic
聴覚障害者は、日常的に重大なコミュニケーション障害に直面しています。耳が聞こえないため、手話を理解していない人とのコミュニケーションが困難になります。さらに、教育的、職業的、社会的状況において困難をもたらします。代替通信チャネルを提供することで、テクノロジはこれらの障害を克服する上で重要な役割を果たすことができます。ろう者と聴者の間のコミュニケーションを容易にする技術の 1 つは、手話認識です。インド手話をテキストや音声に変換するために、手話認識のための堅牢なシステムを作成します。提案されたシステムを評価し、CNN モデルと LSTM モデルを比較します。静的手話とジェスチャー手話の両方があるため、それらを区別するには堅牢なモデルが必要です。この研究では、静的手話の認識のために CNN モデルが LSTM モデルよりも優れた文字や文字をキャプチャすることを発見しました。テキストから手話へのパラダイムの作成は、手話に依存する聴覚障害者や難聴者のコミュニケーション スキルを向上させるために不可欠です。手話からテキストへの翻訳はコミュニケーションの 1 つの側面にすぎませんが、すべての聴覚障害者または難聴者がテキストの読み書きに堪能であるとは限りません。教育や読み書きの問題のために、書き言葉を理解するのが難しい人もいます。したがって、テキストから手話へのパラダイムにより、テキストベースの情報を理解し、さまざまな社会的、教育的、専門的な設定に参加できるようになります。キーワード: 聴覚障害者、難聴者、DHH、インド手話、CNN、LSTM、静的およびジェスチャー手話、テキストから手話への言語モデル、MediaPipe ホリスティック、手話認識、SLR、SLT
Deaf individuals confront significant communication obstacles on a daily basis. Their inability to hear makes it difficult for them to communicate with those who do not understand sign language. Moreover, it presents difficulties in educational, occupational, and social contexts. By providing alternative communication channels, technology can play a crucial role in overcoming these obstacles. One such technology that can facilitate communication between deaf and hearing individuals is sign language recognition. We will create a robust system for sign language recognition in order to convert Indian Sign Language to text or speech. We will evaluate the proposed system and compare CNN and LSTM models. Since there are both static and gesture sign languages, a robust model is required to distinguish between them. In this study, we discovered that a CNN model captures letters and characters for recognition of static sign language better than an LSTM model, but it outperforms CNN by monitoring hands, faces, and pose in gesture sign language phrases and sentences. The creation of a text-to-sign language paradigm is essential since it will enhance the sign language-dependent deaf and hard-of-hearing population's communication skills. Even though the sign-to-text translation is just one side of communication, not all deaf or hard-of-hearing people are proficient in reading or writing text. Some may have difficulty comprehending written language due to educational or literacy issues. Therefore, a text-to-sign language paradigm would allow them to comprehend text-based information and participate in a variety of social, educational, and professional settings. Keywords: deaf and hard-of-hearing, DHH, Indian sign language, CNN, LSTM, static and gesture sign languages, text-to-sign language model, MediaPipe Holistic, sign language recognition, SLR, SLT
updated: Thu Apr 20 2023 12:25:47 GMT+0000 (UTC)
published: Thu Apr 20 2023 12:25:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト