arXiv reaDer
画像シーケンスにおけるコンテンツとモーションのハミルトニアン演算子の解きほぐし
Hamiltonian Operator Disentanglement of Content and Motion in Image Sequences
潜在空間をコンテンツ変数とモーション変数に確実に因数分解する画像シーケンスの深い生成モデルを紹介します。多様なダイナミクスをモデル化するために、モーションスペースをサブスペースに分割し、サブスペースごとに一意のハミルトニアン演算子を導入します。ハミルトニアンの定式化は、低次元多様体に沿った運動経路の進化を制約し、学習した不変特性を保存する可逆ダイナミクスを提供します。運動空間の明示的な分割は、ハミルトニアンを対称群に分解し、ダイナミクスの長期的な分離可能性を提供します。この分割は、解釈と制御が容易なコンテンツ表現を学習できることも意味します。 2つのビデオの動きを交換し、特定の画像からさまざまなアクションの長期シーケンスを生成し、無条件のシーケンス生成と画像の回転を行うことで、モデルの有用性を示します。
We introduce a deep generative model for image sequences that reliably factorise the latent space into content and motion variables. To model the diverse dynamics, we split the motion space into subspaces and introduce a unique Hamiltonian operator for each subspace. The Hamiltonian formulation provides reversible dynamics that constrain the evolution of the motion path along the low-dimensional manifold and conserves learnt invariant properties. The explicit split of the motion space decomposes the Hamiltonian into symmetry groups and gives long-term separability of the dynamics. This split also means we can learn content representations that are easy to interpret and control. We demonstrate the utility of our model by swapping the motion of two videos, generating long term sequences of various actions from a given image, unconditional sequence generation and image rotations.
updated: Fri Jan 28 2022 14:43:05 GMT+0000 (UTC)
published: Thu Dec 02 2021 23:41:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト