arXiv reaDer
$ρ$ -VAE:VAEエンコーダーの自己回帰パラメーター化
$ρ$-VAE: Autoregressive parametrization of the VAE encoder
  VAEモデルに最小限の、しかし非常に効果的な変更を加えます。これは、(サンプルに依存する)近似事後のドロップイン置換で、対角共分散を持つ標準の白いガウスから1次の自己回帰ガウスに変更します。これは、画像内の既存の相関を後部で強制的に消滅させないため、これは画像のような自然信号に採用するより合理的な選択であると主張します。さらに、おおよその後方が真の後方と一致するためのより多くの自由度が可能になります。これにより、再パラメトリック化のトリックとKL発散項が閉じた形式の式を保持できるようになり、サンプルベースの推定が不要になります。相関性のある分布に適応するための自由度は高くなりますが、パラメーター化では、相関とスケーリングをそれぞれ特徴付けるのに2つのスカラー$ \ rho $と$ s $のみが必要なため、対角共分散よりもパラメーターの数が少なくなります。実験で検証されたように、私たちの提案は、プラグアンドプレイ方式で画像生成の品質を顕著かつ一貫して改善し、それ以上のパラメーターチューニングを必要とせず、すべてのセットアップにわたって行われます。実験を再現するコードは、\ url {で入手できます。
We make a minimal, but very effective alteration to the VAE model. This is about a drop-in replacement for the (sample-dependent) approximate posterior to change it from the standard white Gaussian with diagonal covariance to the first-order autoregressive Gaussian. We argue that this is a more reasonable choice to adopt for natural signals like images, as it does not force the existing correlation in the data to disappear in the posterior. Moreover, it allows more freedom for the approximate posterior to match the true posterior. This allows for the repararametrization trick, as well as the KL-divergence term to still have closed-form expressions, obviating the need for its sample-based estimation. Although providing more freedom to adapt to correlated distributions, our parametrization has even less number of parameters than the diagonal covariance, as it requires only two scalars, $\rho$ and $s$, to characterize correlation and scaling, respectively. As validated by the experiments, our proposition noticeably and consistently improves the quality of image generation in a plug-and-play manner, needing no further parameter tuning, and across all setups. The code to reproduce our experiments is available at \url{
updated: Fri Sep 13 2019 14:01:33 GMT+0000 (UTC)
published: Fri Sep 13 2019 14:01:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト