arXiv reaDer
イメージ シーケンスの内容と動きのもつれを解くためのハミルトニアン潜在演算子
Hamiltonian latent operators for content and motion disentanglement in image sequences
HALO を紹介します。HALO は、HAmiltonian Latent Operators を利用して、イメージ シーケンス内のコンテンツとモーション情報を確実に解きほぐすディープ ジェネレーティブ モデルです。コンテンツはシーケンスの要約統計を表し、モーションはシーケンスの任意の部分で情報がどのように表現されるかを決定する動的なプロセスです。ダイナミクスをハミルトン運動としてモデル化することにより、重要な必要条件が保証されます。(1) 運動は可逆的であり、(2) 位相空間におけるシンプレクティックな体積保存構造は、パスが連続的であり、潜在空間で発散しないことを意味します。その結果、シーケンス フレームの近さは、位相空間におけるそれらの座標の近さによって実現されます。シーケンス空間は、通常、さまざまなタイプの動的モーションで構成されます。長期的な分離可能性を確保し、制御された生成を可能にするために、すべてのモーションを、それぞれの部分空間で機能する一意のハミルトニアンに関連付けます。シーケンスのペア、制御された生成、および画像の回転の動きを交換することにより、HALO の有用性を実証します。
We introduce HALO -- a deep generative model utilising HAmiltonian Latent Operators to reliably disentangle content and motion information in image sequences. The content represents summary statistics of a sequence, and motion is a dynamic process that determines how information is expressed in any part of the sequence. By modelling the dynamics as a Hamiltonian motion, important desiderata are ensured: (1) the motion is reversible, (2) the symplectic, volume-preserving structure in phase space means paths are continuous and are not divergent in the latent space. Consequently, the nearness of sequence frames is realised by the nearness of their coordinates in the phase space, which proves valuable for disentanglement and long-term sequence generation. The sequence space is generally comprised of different types of dynamical motions. To ensure long-term separability and allow controlled generation, we associate every motion with a unique Hamiltonian that acts in its respective subspace. We demonstrate the utility of HALO by swapping the motion of a pair of sequences, controlled generation, and image rotations.
updated: Wed Oct 12 2022 23:58:58 GMT+0000 (UTC)
published: Thu Dec 02 2021 23:41:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト