arXiv reaDer
転送: 敵対的ネットワークを使用したクロスモダリティ知識転送 -- ジェスチャ認識に関する研究
Transfer: Cross Modality Knowledge Transfer using Adversarial Networks -- A Study on Gesture Recognition
センシング技術を通じた知識伝達は、ジェスチャーベースの人間とコンピューターの対話など、多くのアプリケーション分野で最近検討されている新しい概念です。主な目的は、ソース テクノロジーからセマンティックまたはデータ駆動型の情報を収集して、ターゲット テクノロジー内の目に見えないクラスのインスタンスを分類/認識することです。主な課題は、ソース テクノロジとターゲット テクノロジの間で機能セットの次元と分布が大きく異なることです。この論文では、ソース技術とターゲット技術の間の知識伝達のための汎用フレームワークである TRANSFER を提案します。 TRANSFER は、言語ベースの手ジェスチャー表現を使用し、単語の意味に意味論的に関連する手の形、位置、動きなどの概念の一時的な組み合わせをキャプチャします。 TRANSFER は、事前に指定された構文構造とトークナイザーを利用することで、手のジェスチャーをトークンに分割し、トークン認識機能を使用して個々のコンポーネントを識別します。この言語ベースの認識システムのトークナイザーは、低レベルのテクノロジー固有の特性をマシン インターフェイスに抽象化し、ソース テクノロジーとターゲット テクノロジーの両方でジェスチャの認識に不可欠なテクノロジー不変の特徴を学習する弁別器の設計を可能にします。ここでは、3 つの異なるシナリオでの TRANSFER の使用法を示します。a) ビデオからジェスチャ モデルを学習し、WiFi を使用してジェスチャを認識することで、テクノロジー全体に知識を転送する、b) ビデオから加速度計に知識を転送する、d) 加速度計から WiFi 信号に知識を転送する。
Knowledge transfer across sensing technology is a novel concept that has been recently explored in many application domains, including gesture-based human computer interaction. The main aim is to gather semantic or data driven information from a source technology to classify / recognize instances of unseen classes in the target technology. The primary challenge is the significant difference in dimensionality and distribution of feature sets between the source and the target technologies. In this paper, we propose TRANSFER, a generic framework for knowledge transfer between a source and a target technology. TRANSFER uses a language-based representation of a hand gesture, which captures a temporal combination of concepts such as handshape, location, and movement that are semantically related to the meaning of a word. By utilizing a pre-specified syntactic structure and tokenizer, TRANSFER segments a hand gesture into tokens and identifies individual components using a token recognizer. The tokenizer in this language-based recognition system abstracts the low-level technology-specific characteristics to the machine interface, enabling the design of a discriminator that learns technology-invariant features essential for recognition of gestures in both source and target technologies. We demonstrate the usage of TRANSFER for three different scenarios: a) transferring knowledge across technology by learning gesture models from video and recognizing gestures using WiFi, b) transferring knowledge from video to accelerometer, and d) transferring knowledge from accelerometer to WiFi signals.
updated: Mon Jun 26 2023 23:47:59 GMT+0000 (UTC)
published: Mon Jun 26 2023 23:47:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト