高次元シーケンシャルデータの深い潜在変数モデルを提示します。私たちのモデルは、潜在空間をコンテンツ変数とモーション変数に因数分解します。多様なダイナミクスをモデル化するために、モーションスペースをサブスペースに分割し、サブスペースごとに一意のハミルトニアン演算子を導入します。ハミルトニアンの定式化は、不変の特性を保存するためにモーションパスを制約することを学習する可逆ダイナミクスを提供します。運動空間の明示的な分割は、ハミルトニアンを対称群に分解し、ダイナミクスの長期的な分離可能性を提供します。この分割は、解釈と制御が容易な表現を学習できることも意味します。 2つのビデオの動きを交換し、特定の画像からさまざまなアクションのシーケンスを生成し、無条件のシーケンスを生成するためのモデルの有用性を示します。
We present a deep latent variable model for high dimensional sequential data. Our model factorises the latent space into content and motion variables. To model the diverse dynamics, we split the motion space into subspaces, and introduce a unique Hamiltonian operator for each subspace. The Hamiltonian formulation provides reversible dynamics that learn to constrain the motion path to conserve invariant properties. The explicit split of the motion space decomposes the Hamiltonian into symmetry groups and gives long-term separability of the dynamics. This split also means representations can be learnt that are easy to interpret and control. We demonstrate the utility of our model for swapping the motion of two videos, generating sequences of various actions from a given image and unconditional sequence generation.