短い 3D ポーズ シーケンスをダイナミック タイム ワーピングによるシーケンス間のアラインメントに適した埋め込みベクトルにマッピングするエンコーダを学習するための単純な教師なし方法を提示します。トレーニング サンプルは、モーション キャプチャ マーカーやスケルトン ジョイントなどの 3D ボディ ポイントを含むフレームの時間ウィンドウで構成されます。軽量の 3 層エンコーダーは、拡張されたサンプル ペアの埋め込みベクトルがコサイン類似度 1、およびミニバッチ内の他のすべてのサンプルとの類似度 0 を持つようにする、対照的な損失関数を使用してトレーニングされます。複数のスクリプト化されたトレーニング シーケンスが利用可能な場合、トレーニングの最初のラウンドから推測された一時的なアライメントが収集され、トレーニングの第 2 フェーズで追加のクロスパフォーマンス マッチ ペアが抽出され、エンコーダーが改良されます。シンプルであることに加えて、提案された方法はトレーニングが高速であり、異なるマーカーセットまたは骨格関節レイアウトを使用して新しいデータに簡単に適応できます。実験結果は、人間の行動シーケンスを比較および分析するための学習された埋め込みの使いやすさ、転送可能性、および有用性を示しています。
We present a simple unsupervised method for learning an encoder mapping short 3D pose sequences into embedding vectors suitable for sequence-to-sequence alignment by dynamic time warping. Training samples consist of temporal windows of frames containing 3D body points such as mocap markers or skeleton joints. A light-weight, 3-layer encoder is trained using a contrastive loss function that encourages embedding vectors of augmented sample pairs to have cosine similarity 1, and similarity 0 with all other samples in a minibatch. When multiple scripted training sequences are available, temporal alignments inferred from an initial round of training are harvested to extract additional, cross-performance match pairs for a second phase of training to refine the encoder. In addition to being simple, the proposed method is fast to train, making it easy to adapt to new data using different marker sets or skeletal joint layouts. Experimental results illustrate ease of use, transferability, and utility of the learned embeddings for comparing and analyzing human behavior sequences.