arXiv reaDer
TFS認識:MPHの調査] {タイの指文字認識:MediaPipe手の可能性の調査
TFS Recognition: Investigating MPH]{Thai Finger Spelling Recognition: Investigating MediaPipe Hands Potentials
タイの指文字(TFS)標識認識は、主要な聴覚人口に橋渡しをする難聴者のコミュニティに利益をもたらす可能性があります。アルファベットの数が比較的多いため、TFSは複数の署名スキームを採用しています。より一般的な手話の2つのスキーム(他の手話で広く使用されている静的および動的な片手手話)は、以前のいくつかの作業で取り上げられています。 TFSサイン認識を完了するには、まったく異なる署名スキームの残りの2つ(静的および動的なポイントオンハンド署名)に十分に対処する必要があります。多くの既製の手の骨格予測モデルの出現と、手話を最初から認識するためのモデルのトレーニングには費用がかかるため、最近発売されたMediaPipe Hands(MPH)に基づいたアプローチを検討します。 MPHは、ハンドキーポイント検出用の高精度で十分にトレーニングされたモデルです。静的シングルハンド(S1)、簡略化された動的シングルハンド(S2)、および静的ポイントオンハンド(P1)スキームの3つのTFSスキームでMPHを調査しました。私たちの結果は、MPHがS1とS2の両方で84.57%の精度で片手スキームに十分に対処できることを示しています。ただし、私たちの調査結果は、ポイントオンハンドスキームに対処する際のMPHの欠点を明らかにしています。その精度は、ゼロからトレーニングされた従来の分類から得られた69.19%に対して、P1で23.66%です。この欠点は調査されており、自己閉塞と利き手に起因しています。
Thai Finger Spelling (TFS) sign recognition could benefit a community of hearing-difficulty people in bridging to a major hearing population. With a relatively large number of alphabets, TFS employs multiple signing schemes. Two schemes of more common signing -- static and dynamic single-hand signing, widely used in other sign languages -- have been addressed in several previous works. To complete the TFS sign recognition, the remaining two of quite distinct signing schemes -- static and dynamic point-on-hand signing -- need to be sufficiently addressed. With the advent of many off-the-shelf hand skeleton prediction models and that training a model to recognize a sign language from scratch is expensive, we explore an approach building upon recently launched MediaPipe Hands (MPH). MPH is a high-precision well-trained model for hand-keypoint detection. We have investigated MPH on three TFS schemes: static-single-hand (S1), simplified dynamic-single-hand (S2) and static-point-on-hand (P1) schemes. Our results show that MPH can satisfactorily address single-hand schemes with accuracy of 84.57% on both S1 and S2. However, our finding reveals a shortcoming of MPH in addressing a point-on-hand scheme, whose accuracy is 23.66% on P1 conferring to 69.19% obtained from conventional classification trained from scratch. This shortcoming has been investigated and attributed to self occlusion and handedness.
updated: Mon Jan 10 2022 05:27:58 GMT+0000 (UTC)
published: Mon Jan 10 2022 05:27:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト