セーフティクリティカルドメインでニューラルネットワークを採用するには、その予測を信頼できるかどうかを知ることが重要です。ベイジアンニューラルネットワーク(BNN)は、事後の重み分布に関する予測を平均することにより、不確実性の推定値を提供します。 BNNの変分推論法は、後部の難治性体重を扱いやすい分布で近似しますが、ほとんどの場合、トレーニングおよび推論中の変分分布からのサンプリングに依存しています。最近のサンプリングフリーのアプローチは代替手段を提供しますが、かなりのパラメータオーバーヘッドが発生します。ここでは、乗法ガウス活性化ノイズによって誘発される分布に依存する、サンプリングのない変分推論のための事後近似のより効率的なパラメーター化を提案します。これにより、パラメーターの効率とサンプリングのない変分推論の利点を組み合わせることができます。私たちのアプローチは、標準的な回帰問題に対して競争力のある結果をもたらし、ImageNetを含む大規模な画像分類タスクにうまく対応します。
To adopt neural networks in safety critical domains, knowing whether we can trust their predictions is crucial. Bayesian neural networks (BNNs) provide uncertainty estimates by averaging predictions with respect to the posterior weight distribution. Variational inference methods for BNNs approximate the intractable weight posterior with a tractable distribution, yet mostly rely on sampling from the variational distribution during training and inference. Recent sampling-free approaches offer an alternative, but incur a significant parameter overhead. We here propose a more efficient parameterization of the posterior approximation for sampling-free variational inference that relies on the distribution induced by multiplicative Gaussian activation noise. This allows us to combine parameter efficiency with the benefits of sampling-free variational inference. Our approach yields competitive results for standard regression problems and scales well to large-scale image classification tasks including ImageNet.