画像のような高次元データを独立した潜在因子、すなわち独立成分分析(ICA)に分離することは、未解決の研究課題のままです。私たちが示すように、画像データ用に調整された既存の確率的深層生成モデル(DGM)は、非線形ICAタスクではパフォーマンスが低下します。これに対処するために、全単射特徴マップと線形ICAモデルを組み合わせて、高次元データの解釈可能な潜在構造を学習するDGMを提案します。このようなハイブリッドモデルを共同でトレーニングすることの複雑さを考慮して、線形ICAを直交長方形行列の多様体であるスティーフェル多様体の近くに配置するように制約する新しい理論を紹介します。そうすることで、フローベースのモデル、線形ICA、画像の変分オートエンコーダーよりも、迅速に収束し、トレーニングが容易で、教師なし潜在因子の発見に優れたモデルを作成します。
Separating high-dimensional data like images into independent latent factors, i.e independent component analysis (ICA), remains an open research problem. As we show, existing probabilistic deep generative models (DGMs), which are tailor-made for image data, underperform on non-linear ICA tasks. To address this, we propose a DGM which combines bijective feature maps with a linear ICA model to learn interpretable latent structures for high-dimensional data. Given the complexities of jointly training such a hybrid model, we introduce novel theory that constrains linear ICA to lie close to the manifold of orthogonal rectangular matrices, the Stiefel manifold. By doing so we create models that converge quickly, are easy to train, and achieve better unsupervised latent factor discovery than flow-based models, linear ICA, and Variational Autoencoders on images.