手話レキシカは、研究者や手話を学ぶ人々にとって有用なリソースです。現在の実装では、ユーザーは光沢によって、または手型や場所などの主要な機能を選択することによって、標識を検索できます。この調査では、ユーザーがWebカメラの前でクエリサインに署名し、一致するサインのセットを取得できる逆検索機能の調査に焦点を当てています。ポーズ推定フレームワークOpenPoseを使用して、さまざまな体の関節の組み合わせ(上半身、利き手、腕、手首)を抽出することにより、4つの手法(PCA、UMAP、DTW、ユークリッド距離)を20のクエリサイン間の距離メトリックとして比較します。 1200記号のレキシコン。結果は、UMAPとDTWが、利き手腕の動きを使用して、取得された上位20の標識でそれぞれ80%と71%の精度で一致する標識を予測できることを示しています。 DTWを使用し、レキシコンの他の参加者からのサインインスタンスを追加すると、上位10位で精度を90%に上げることができます。私たちの結果は、私たちの方法論は、そのサイズに関係なく、手話辞書のトレーニングなしで使用できることを示唆しています。
Sign language lexica are a useful resource for researchers and people learning sign languages. Current implementations allow a user to search a sign either by its gloss or by selecting its primary features such as handshape and location. This study focuses on exploring a reverse search functionality where a user can sign a query sign in front of a webcam and retrieve a set of matching signs. By extracting different body joints combinations (upper body, dominant hand's arm and wrist) using the pose estimation framework OpenPose, we compare four techniques (PCA, UMAP, DTW and Euclidean distance) as distance metrics between 20 query signs, each performed by eight participants on a 1200 sign lexicon. The results show that UMAP and DTW can predict a matching sign with an 80% and 71% accuracy respectively at the top-20 retrieved signs using the movement of the dominant hand arm. Using DTW and adding more sign instances from other participants in the lexicon, the accuracy can be raised to 90% at the top-10 ranking. Our results suggest that our methodology can be used with no training in any sign language lexicon regardless of its size.