ベイジアンニューラルネットワーク(BNN)は、ディープニューラルネットワークの堅牢性と予測の不確実性を改善するための理想的でありながら拡張性のないソリューションと長い間考えられてきました。ネットワークパラメータの事後分布をより正確にキャプチャできますが、ほとんどのBNNアプローチは、小規模なネットワークに限定されるか、パラメータの独立性などの制約のある仮定に依存します。これらの欠点により、Deep Ensemblesのように、トレーニングとテストのコストがネットワークの数に比例して増加する、単純ですが計算量の多いアプローチが目立つようになりました。この作業では、ResNet50 DeepLabV3 +などの複雑なコンピュータービジョンアーキテクチャや、パラメーターの仮定が少ないセマンティックセグメンテーションなどのタスクに適した効率的なディープBNNを目指しています。これは、変分オートエンコーダー(VAE)を活用して、各ネットワーク層でのパラメーターの相互作用と潜在的な分布を学習することで実現します。私たちのアプローチであるLatent-PosteriorBNN(LP-BNN)は、最近のBatchEnsembleメソッドと互換性があり、非常に効率的な(トレーニングとテストの両方での計算とメモリの点で)アンサンブルにつながります。 LP-BNNは、画像分類、セマンティックセグメンテーション、および分布外検出のためのいくつかの挑戦的なベンチマークで、複数のメトリックにわたって競争力のある結果を達成します。
Bayesian neural networks (BNNs) have been long considered an ideal, yet unscalable solution for improving the robustness and the predictive uncertainty of deep neural networks. While they could capture more accurately the posterior distribution of the network parameters, most BNN approaches are either limited to small networks or rely on constraining assumptions such as parameter independence. These drawbacks have enabled prominence of simple, but computationally heavy approaches such as Deep Ensembles, whose training and testing costs increase linearly with the number of networks. In this work we aim for efficient deep BNNs amenable to complex computer vision architectures, e.g. ResNet50 DeepLabV3+, and tasks, e.g. semantic segmentation, with fewer assumptions on the parameters. We achieve this by leveraging variational autoencoders (VAEs) to learn the interaction and the latent distribution of the parameters at each network layer. Our approach, Latent-Posterior BNN (LP-BNN), is compatible with the recent BatchEnsemble method, leading to highly efficient (in terms of computation and memory during both training and testing) ensembles. LP-BNN s attain competitive results across multiple metrics in several challenging benchmarks for image classification, semantic segmentation and out-of-distribution detection.