arXiv reaDer
Skeleton-DML:スケルトンベースのワンショットアクション認識のためのディープメトリック学習
Skeleton-DML: Deep Metric Learning for Skeleton-Based One-Shot Action Recognition
ワンショットアクション認識では、1つのトレーニング例だけで人間が実行したアクションを認識できます。これは、ロボットがこれまでに見られなかった行動に反応できるようにすることで、人間とロボットの相互作用にプラスの影響を与える可能性があります。ワンショット行動認識問題を深いメトリック学習問題として定式化し、メトリック学習設定でうまく機能する新しい画像ベースのスケルトン表現を提案します。したがって、画像表現を埋め込みスペースに投影するモデルをトレーニングします。埋め込みスペースでは、類似のアクションのユークリッド距離は短く、異なるアクションの距離は長くなります。ワンショット行動認識問題は、一連の活動参照サンプルの最近傍探索になります。提案された表現のパフォーマンスを、他のさまざまなスケルトンベースの画像表現と比較して評価します。さらに、さまざまな埋め込みベクトルサイズ、損失、および増大の影響を示すアブレーション研究を紹介します。私たちのアプローチは、同等のトレーニング設定の下で、NTU RGB + D 120データセットのワンショットアクション認識プロトコルの最先端技術を3.3%向上させます。追加の拡張により、結果は7.7%以上向上しました。
One-shot action recognition allows the recognition of human-performed actions with only a single training example. This can influence human-robot-interaction positively by enabling the robot to react to previously unseen behaviour. We formulate the one-shot action recognition problem as a deep metric learning problem and propose a novel image-based skeleton representation that performs well in a metric learning setting. Therefore, we train a model that projects the image representations into an embedding space. In embedding space the similar actions have a low euclidean distance while dissimilar actions have a higher distance. The one-shot action recognition problem becomes a nearest-neighbor search in a set of activity reference samples. We evaluate the performance of our proposed representation against a variety of other skeleton-based image representations. In addition, we present an ablation study that shows the influence of different embedding vector sizes, losses and augmentation. Our approach lifts the state-of-the-art by 3.3% for the one-shot action recognition protocol on the NTU RGB+D 120 dataset under a comparable training setup. With additional augmentation our result improved over 7.7%.
updated: Sat Dec 26 2020 22:31:11 GMT+0000 (UTC)
published: Sat Dec 26 2020 22:31:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト