arXiv reaDer
Commutative Lie Group VAE for Disentanglement Learning
私たちは、もつれ解消学習を、データに示されている因数分解された変動を等変的に反映する根本的な構造を発見することと見なしています。伝統的に、このような構造は、個々の潜在的な次元に沿った変換によって表されるデータの変化を持つベクトル空間に固定されています。この単純な構造は、モデルがデータ変化の特性 (たとえば、さまざまな変化のスケール、さまざまな抽象度) を破棄することを学習する必要があるため、最適とは言えません。これは、等分散学習よりも余分な作業です。代わりに、グループを使用してデータの変化をエンコードすることを提案します。構造は、変化を等変的に表すことができるだけでなく、データの変化のプロパティを保持するために適応的に最適化することもできます。群構造の訓練は難しいとの考えから、リー群に着目し、リー代数を用いたパラメータ化を採用しています。パラメータ化に基づいて、いくつかの解き放ち学習の制約が自然に導出されます。グループベースのもつれ解消学習を実現するために、Commutative Lie Group VAE という単純なモデルが導入されています。実験により、私たちのモデルは、監督なしで効果的に解き放たれた表現を学習でき、余分な制約なしに最先端のパフォーマンスを達成できることが示されています。
We view disentanglement learning as discovering an underlying structure that equivariantly reflects the factorized variations shown in data. Traditionally, such a structure is fixed to be a vector space with data variations represented by translations along individual latent dimensions. We argue this simple structure is suboptimal since it requires the model to learn to discard the properties (e.g. different scales of changes, different levels of abstractness) of data variations, which is an extra work than equivariance learning. Instead, we propose to encode the data variations with groups, a structure not only can equivariantly represent variations, but can also be adaptively optimized to preserve the properties of data variations. Considering it is hard to conduct training on group structures, we focus on Lie groups and adopt a parameterization using Lie algebra. Based on the parameterization, some disentanglement learning constraints are naturally derived. A simple model named Commutative Lie Group VAE is introduced to realize the group-based disentanglement learning. Experiments show that our model can effectively learn disentangled representations without supervision, and can achieve state-of-the-art performance without extra constraints.
updated: Mon Jun 07 2021 07:03:14 GMT+0000 (UTC)
published: Mon Jun 07 2021 07:03:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト