タッチレスコンピュータインタラクションは、COVID-19パンデミック期間中の重要な考慮事項になりました。高度なジェスチャ認識を可能にする機械学習とコンピュータビジョンの進歩にもかかわらず、そのようなオープンソースメソッドの統合コレクションと、既存のソフトウェアでのタッチレスインタラクションのための低コストソリューションでそれらを利用するためのユーザーがカスタマイズ可能なアプローチはまだありません。このホワイトペーパーでは、MotionInputv2.0アプリケーションを紹介します。このアプリケーションは、公開されているオープンソースライブラリと、標準のRGBWebカメラからビデオストリームを入力として取得するために開発された追加のジェスチャ定義を利用します。次に、人間のモーションジェスチャを、既存のアプリケーションやゲームの入力操作にマッピングします。ユーザーは、シングルおよびバイモーダルの手のジェスチャー、全身の反復または四肢ベースのエクササイズ、頭と顔の動き、視線追跡、および上記の組み合わせを含む、一連のモーションタイプから自分の好みの対話方法を選択できます。また、アイドル状態のジェスチャ、自動キャリブレーション、2D RGB Webカメラストリームからの深度キャプチャ、口の動き、ウィンク、回転による頭の方向などの顔の動きの追跡など、DirectInputトリガーとして一連の特注のジェスチャ認識分類を紹介します。モジュールの開発を支援したのは、創造性ソフトウェア、オフィスおよび臨床ソフトウェア、ゲームソフトウェアの3つのユースケース領域です。オープンソースライブラリのコレクションが統合され、DirectXを介してWindowsの既存のマウスおよびキーボードコントロールの上にモジュラージェスチャマッピングのレイヤーを提供します。ほとんどのラップトップおよびデスクトップコンピューターに統合されたWebカメラに簡単にアクセスできるため、タッチレスコンピューティングは、フェデレーションおよびローカルで処理される方法で、MotionInputv2.0でより利用可能になります。
Touchless computer interaction has become an important consideration during the COVID-19 pandemic period. Despite progress in machine learning and computer vision that allows for advanced gesture recognition, an integrated collection of such open-source methods and a user-customisable approach to utilising them in a low-cost solution for touchless interaction in existing software is still missing. In this paper, we introduce the MotionInput v2.0 application. This application utilises published open-source libraries and additional gesture definitions developed to take the video stream from a standard RGB webcam as input. It then maps human motion gestures to input operations for existing applications and games. The user can choose their own preferred way of interacting from a series of motion types, including single and bi-modal hand gesturing, full-body repetitive or extremities-based exercises, head and facial movements, eye tracking, and combinations of the above. We also introduce a series of bespoke gesture recognition classifications as DirectInput triggers, including gestures for idle states, auto calibration, depth capture from a 2D RGB webcam stream and tracking of facial motions such as mouth motions, winking, and head direction with rotation. Three use case areas assisted the development of the modules: creativity software, office and clinical software, and gaming software. A collection of open-source libraries has been integrated and provide a layer of modular gesture mapping on top of existing mouse and keyboard controls in Windows via DirectX. With ease of access to webcams integrated into most laptops and desktop computers, touchless computing becomes more available with MotionInput v2.0, in a federated and locally processed method.