arXiv reaDer
ヤコビアン L_1 正則化を使用した変動オートエンコーダーにおけるローカル エンタングルメント
Local Disentanglement in Variational Auto-Encoders Using Jacobian L_1 Regularization
表現学習には最近多くの進歩がありました。ただし、教師なしの表現学習は、モデル識別の問題に依然として苦労する可能性があります。 Variational Auto-Encoders (VAE) と β-VAE などのその拡張機能は、潜在変数を PCA の方向に局所的に整列させることが示されています。これは、特定の条件下でモデルのもつれを改善するのに役立ちます。独立成分分析 (ICA) とスパース コーディングからインスピレーションを借りて、トレーニング中に L_1 損失を VAE の生成ヤコビアンに適用して、データの変動の独立要因とローカル潜在変数の整合を促進することを提案します。さまざまなデータセットで結果を示し、追加の L_1 コストが潜在的表現のローカル軸アライメントと変動の個々の要因を促進することを示す情報理論およびモジュール性測定を使用して、定性的および定量的な結果を示します。
There have been many recent advances in representation learning; however, unsupervised representation learning can still struggle with model identification issues. Variational Auto-Encoders (VAEs) and their extensions such as β-VAEs have been shown to locally align latent variables with PCA directions, which can help to improve model disentanglement under some conditions. Borrowing inspiration from Independent Component Analysis (ICA) and sparse coding, we propose applying an L_1 loss to the VAE's generative Jacobian during training to encourage local latent variable alignment with independent factors of variation in the data. We demonstrate our results on a variety of datasets, giving qualitative and quantitative results using information theoretic and modularity measures that show our added L_1 cost encourages local axis alignment of the latent representation with individual factors of variation.
updated: Sat Jun 05 2021 15:40:55 GMT+0000 (UTC)
published: Sat Jun 05 2021 15:40:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト