arXiv reaDer
Air-Writing Translater: A Novel Unsupervised Domain Adaptation Method for Inertia-Trajectory Translation of In-air Handwriting
 人間とコンピューターの相互作用の新しい方法として、慣性センサーベースの空中手書きは、3D空間でより複雑で豊富な情報を表現するための自然で制約のない相互作用を提供できます。ただし、既存の空中手書き作業のほとんどは主に手書き文字認識に焦点を当てているため、これらの作業は慣性信号の可読性の低さとラベル付きサンプルの欠如に悩まされています。これらの2つの問題に対処するために、教師なしドメイン適応法を使用して慣性信号の軌跡を再構築し、オンライン手書き軌跡を使用して慣性サンプルを生成します。この論文では、AirWriting Translaterモデルを提案して、慣性サンプルと軌道サンプルのペアが存在しない場合に、軌道ドメインと慣性ドメイン間の双方向変換を学習します。提案されたモデルは、セマンティックレベルの敵対的トレーニングと潜在的な分類損失を通じて、2つのドメイン間での変換中にセマンティックの一貫性を維持しながら、慣性信号と軌跡の間のドメイン不変コンテンツを抽出することを学習します。提案されたフレームワークが任意の長さの入力を受け入れ、異なるサンプリングレート間で変換できるように、アーキテクチャを慎重に設計します。また、6DMG(空中手書きデータセット)とCT(手書き軌跡データセット)の2つのパブリックデータセットで実験を行います。タスク。
As a new way of human-computer interaction, inertial sensor based in-air handwriting can provide a natural and unconstrained interaction to express more complex and richer information in 3D space. However, most of the existing in-air handwriting work is mainly focused on handwritten character recognition, which makes these work suffer from poor readability of inertial signal and lack of labeled samples. To address these two problems, we use unsupervised domain adaptation method to reconstruct the trajectory of inertial signal and generate inertial samples using online handwritten trajectories. In this paper, we propose an AirWriting Translater model to learn the bi-directional translation between trajectory domain and inertial domain in the absence of paired inertial and trajectory samples. Through semantic-level adversarial training and latent classification loss, the proposed model learns to extract domain-invariant content between inertial signal and trajectory, while preserving semantic consistency during the translation across the two domains. We carefully design the architecture, so that the proposed framework can accept inputs of arbitrary length and translate between different sampling rates. We also conduct experiments on two public datasets: 6DMG (in-air handwriting dataset) and CT (handwritten trajectory dataset), the results on the two datasets demonstrate that the proposed network successes in both Inertia-to Trajectory and Trajectory-to-Inertia translation tasks.
updated: Fri Nov 01 2019 14:09:44 GMT+0000 (UTC)
published: Fri Nov 01 2019 14:09:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト