分類性能を向上させるための合成データ生成(データ拡張)は、よく研究されている問題です。最近、生成的敵対的ネットワーク(GAN)は優れた画像データ拡張パフォーマンスを示していますが、ジェスチャ合成におけるそれらの適合性は十分な注目を集めていません。さらに、GANは、ジェネレータとディスクリミネータのネットワークトレーニングを同時に行うことを禁止しています。この作業では、両方の問題に取り組みます。最初に、DeepGANと呼ばれるジェスチャ合成用のデバイスに依存しない新しいGANモデルについて説明します。その後、動的タイムワーピングと平均ハウスドルフ距離に基づく新しい微分可能損失関数を導入してDeepNAGを定式化します。これにより、弁別器を必要とせずにDeepGANのジェネレーターをトレーニングできます。評価を通じて、DeepGANとDeepNAGの有用性を、6つのデータセットにわたるデータ拡張を使用して5つの認識機能をトレーニングするための2つの代替手法と比較します。さらに、HYPEベンチマークに基づくAmazon Mechanical Turkユーザー調査を介して、合成されたサンプルの知覚品質を調査します。 DeepNAGは、精度、トレーニング時間(最大17倍高速)、およびリアリズムにおいてDeepGANよりも優れていることがわかりました。これにより、ジェネレータネットワークの設計とジェスチャ合成のトレーニングにおける新しい研究ラインへの扉が開かれます。ソースコードはhttps://www.deepnag.comで入手できます。
Synthetic data generation to improve classification performance (data augmentation) is a well-studied problem. Recently, generative adversarial networks (GAN) have shown superior image data augmentation performance, but their suitability in gesture synthesis has received inadequate attention. Further, GANs prohibitively require simultaneous generator and discriminator network training. We tackle both issues in this work. We first discuss a novel, device-agnostic GAN model for gesture synthesis called DeepGAN. Thereafter, we formulate DeepNAG by introducing a new differentiable loss function based on dynamic time warping and the average Hausdorff distance, which allows us to train DeepGAN's generator without requiring a discriminator. Through evaluations, we compare the utility of DeepGAN and DeepNAG against two alternative techniques for training five recognizers using data augmentation over six datasets. We further investigate the perceived quality of synthesized samples via an Amazon Mechanical Turk user study based on the HYPE benchmark. We find that DeepNAG outperforms DeepGAN in accuracy, training time (up to 17x faster), and realism, thereby opening the door to a new line of research in generator network design and training for gesture synthesis. Our source code is available at https://www.deepnag.com.