ディープニューラルネットワークが持つ重要な特性は、これまでに見られなかったデータに対してロバストな分布外検出(OOD)を実行する機能です。このプロパティは、実際のアプリケーションにモデルを展開する際の安全上の目的で不可欠です。最近の研究では、確率的生成モデルはこのタスクでうまく機能しない可能性があることが示されています。これは、トレーニングデータの可能性を推定しようとしていることを考えると驚くべきことです。この問題を軽減するために、変分オートエンコーダー(VAE)の指数関数的に傾斜したガウス事前分布を提案します。これにより、VAEが自然に割り当てる負の対数尤度のみを使用して最先端の結果を達成でき、競合するいくつかの方法よりも桁違いに高速になります。また、私たちのモデルが、標準のガウスVAEよりも鮮明な高品質の画像サンプルを生成することも示しています。新しい事前分布には、潜在ベクトルの長さと球の半径の差を比較するカルバックライブラー発散を使用する非常に単純な実装があります。
An important propertyfor deep neural networks to possess is the ability to perform robust out of distribution detection (OOD) on previously unseen data. This property is essential for safety purposes when deploying models for real world applications. Recent studies show that probabilistic generative models can perform poorly on this task, which is surprising given that they seek to estimate the likelihood of training data. To alleviate this issue, we propose the exponentially tilted Gaussian prior distribution for the Variational Autoencoder (VAE). With this prior, we are able to achieve state-of-the art results using just the negative log likelihood that the VAE naturally assigns, while being orders of magnitude faster than some competitive methods. We also show that our model produces high quality image samples which are more crisp than that of a standard Gaussian VAE. The new prior distribution has a very simple implementation which uses a Kullback Leibler divergence that compares the difference between a latent vector's length, and the radius of a sphere.