arXiv reaDer
高齢者が実施するテストでの手のジェスチャー検出
Hand gesture detection in tests performed by older adults
私たちのチームは、研究センターからリモートで完了することができる、加齢に関連する手の動きの機能を分析する新しいオンラインテストを開発しています。手の動きの機能を取得するには、参加者は自分のコンピューターカメラを使用してさまざまな手のジェスチャーを実行するように求められます。ただし、特にITのバックグラウンドを持たない高齢者の参加者にとっては、高品質の手の動きのビデオデータを収集することは困難です。データ収集プロセス中の重要なステップの1つは、参加者がテストの指示に正しく従っているかどうかを検出することと、さまざまなデバイスからの同様のジェスチャを検出することです。さらに、何千人もの参加者がテストを完了すると予想されるため、このプロセスを自動化して正確にする必要があります。手の動きのテストでジェスチャを検出するためにハンドジェスチャ検出器を実装しました。検出mAPは0.782であり、最先端のものよりも優れています。この研究では、手の動きのテストから収集された20,000枚の画像を処理し、6,450枚の画像にラベルを付けて、手の動きのテストでさまざまな手のジェスチャーを検出しました。この論文には、次の3つの貢献があります。まず、ハンドジェスチャ検出のためのさまざまなネットワーク構造のパフォーマンスを比較および分析しました。次に、モデルの精度を向上させるために多くの試みを行い、注意レイヤーを実装することにより、同様のジェスチャの分類精度を向上させることに成功しました。第3に、2つのデータセットを作成し、データセットにぼやけた画像の20%を含めて、さまざまなネットワーク構造がノイズの多いデータによってどのように影響を受けるかを調査しました。また、実験により、ノイズの多いデータセットでネットワークのパフォーマンスが向上することも示されました。
Our team are developing a new online test that analyses hand movement features associated with ageing that can be completed remotely from the research centre. To obtain hand movement features, participants will be asked to perform a variety of hand gestures using their own computer cameras. However, it is challenging to collect high quality hand movement video data, especially for older participants, many of whom have no IT background. During the data collection process, one of the key steps is to detect whether the participants are following the test instructions correctly and also to detect similar gestures from different devices. Furthermore, we need this process to be automated and accurate as we expect many thousands of participants to complete the test. We have implemented a hand gesture detector to detect the gestures in the hand movement tests and our detection mAP is 0.782 which is better than the state-of-the-art. In this research, we have processed 20,000 images collected from hand movement tests and labelled 6,450 images to detect different hand gestures in the hand movement tests. This paper has the following three contributions. Firstly, we compared and analysed the performance of different network structures for hand gesture detection. Secondly, we have made many attempts to improve the accuracy of the model and have succeeded in improving the classification accuracy for similar gestures by implementing attention layers. Thirdly, we have created two datasets and included 20 percent of blurred images in the dataset to investigate how different network structures were impacted by noisy data, our experiments have also shown our network has better performance on the noisy dataset.
updated: Fri Oct 29 2021 00:48:51 GMT+0000 (UTC)
published: Wed Oct 27 2021 14:29:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト