変分オートエンコーダー(VAE)は、複雑な分布をモデル化するための効果的で簡単な方法を提供します。ただし、VAEのトレーニングでは、潜在変数によって保持される情報の最適量を決定するために、かなりのハイパーパラメーター調整が必要になることがよくあります。デコード分布の不確実性を学習し、この量の情報を自動的に決定できるキャリブレーションされたデコーダーがVAEパフォーマンスに与える影響を調査します。キャリブレーションされたデコーダーを学習するための多くの方法が提案されていますが、VAEを使用する最近の論文の多くは、代わりにヒューリスティックなハイパーパラメーターとアドホックな変更に依存しています。キャリブレーションされたデコーダーの最初の包括的な比較分析を実行し、シンプルで効果的なVAEトレーニングの推奨事項を提供します。私たちの分析は、さまざまな画像とビデオのデータセット、およびいくつかの単一画像とシーケンシャルVAEモデルを対象としています。さらに、予測分散を分析的に計算する、一般的に使用されるガウスデコーダーに対する単純ですが新しい変更を提案します。私たちの方法では、ヒューリスティックな変更を使用する必要がないことを経験的に観察しています。プロジェクトのウェブサイトはhttps://orybkin.github.io/sigma-vae/です。
Variational autoencoders (VAEs) provide an effective and simple method for modeling complex distributions. However, training VAEs often requires considerable hyperparameter tuning to determine the optimal amount of information retained by the latent variable. We study the impact of calibrated decoders, which learn the uncertainty of the decoding distribution and can determine this amount of information automatically, on the VAE performance. While many methods for learning calibrated decoders have been proposed, many of the recent papers that employ VAEs rely on heuristic hyperparameters and ad-hoc modifications instead. We perform the first comprehensive comparative analysis of calibrated decoder and provide recommendations for simple and effective VAE training. Our analysis covers a range of image and video datasets and several single-image and sequential VAE models. We further propose a simple but novel modification to the commonly used Gaussian decoder, which computes the prediction variance analytically. We observe empirically that using heuristic modifications is not necessary with our method. Project website is at https://orybkin.github.io/sigma-vae/