arXiv reaDer
一般化分散パラメータ化による VAE での過度の平滑化の防止
Preventing Oversmoothing in VAE via Generalized Variance Parameterization
変分オートエンコーダー (VAE) は、多くの場合、学習された潜在空間が有益でなくなる現象である事後崩壊に悩まされます。これは、多くの場合、データ分散に似たハイパーパラメーターに関連しています。このハイパーパラメータの不適切な選択は、線形近似のケースで過度の滑らかさを引き起こし、一般的なケースで経験的に検証できることを示すことができます。さらに、データ分散が不均一または条件付きである場合、そのような適切な選択を決定することは不可能になります。したがって、データ分散の一般化されたパラメーター化を使用したVAE拡張を提案し、最尤推定を目的関数に組み込んで、デコーダーの滑らかさを適応的に正則化します。提案された VAE 拡張機能から生成された画像は、MNIST および CelebA データセットで改善されたフレシェ開始距離 (FID) を示しています。
Variational autoencoders (VAEs) often suffer from posterior collapse, which is a phenomenon in which the learned latent space becomes uninformative. This is often related to the hyperparameter resembling the data variance. It can be shown that an inappropriate choice of this hyperparameter causes the oversmoothness in the linearly approximated case and can be empirically verified for the general cases. Moreover, determining such appropriate choice becomes infeasible if the data variance is non-uniform or conditional. Therefore, we propose VAE extensions with generalized parameterizations of the data variance and incorporate maximum likelihood estimation into the objective function to adaptively regularize the decoder smoothness. The images generated from proposed VAE extensions show improved Fréchet inception distance (FID) on MNIST and CelebA datasets.
updated: Mon Aug 22 2022 01:46:30 GMT+0000 (UTC)
published: Wed Feb 17 2021 10:00:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト